数理统计/贝叶斯方法

数理统计/贝叶斯方法

学习目标

目标项	内容
先验-似然-后验	Bayes 更新与证据
共轭先验	指数族的共轭族
点/区间估计	后验均值、中位数、HPD区间

能力要点	说明
设定先验	信息化与非信息先验
共轭推导	利用充分统计量闭合
计算与近似	MCMC/拉普拉斯近似

Bayes 更新

$p(\theta \mid x)\propto p(x\mid \theta )p(\theta )$，证据 $p(x)=\int p(x\mid \theta )p(\theta )\mathrm {d} \theta$。

模型	似然	共轭先验	后验
伯努利/二项	$\mathrm {Bin} (n,p)$	$\mathrm {Beta} (\alpha ,\beta )$	$\mathrm {Beta} (\alpha +S,\ \beta +n-S)$
泊松	$\mathrm {Pois} (\lambda )$	$\mathrm {Gamma} (a,b)$	$\mathrm {Gamma} (a+\sum x_{i},\ b+n)$
正态均值（方差已知）	${\mathcal {N}}(\mu ,\sigma ^{2}/n)$	${\mathcal {N}}(\mu _{0},\tau _{0}^{2})$	正态闭合
正态均值与方差	正态-逆伽马	正态-逆伽马	闭合

决策准则	估计量	备注
平方损失	后验均值	最小化后验风险
绝对损失	后验中位数	稳健
0-1 损失	后验众数	MAP

HPD 区间与预测

HPD 为后验密度最高的最短区间；预测分布 $p({\tilde {x}}\mid x)=\int p({\tilde {x}}\mid \theta )p(\theta \mid x)\mathrm {d} \theta$。

内容	表达	用途
HPD 区间	等密度阈值构造	区间估计
预测分布	积分边缘化	未来观测

计算方法

闭式难以获得时，使用拉普拉斯近似、重要性采样、MCMC（Metropolis-Hastings、Gibbs）。

方法	特点	适用
拉普拉斯	局部二次近似	模式清晰
重要性采样	权重重标	中小维
MCMC	渐近正确	高维复杂模型

章节测验

单选题

二项-贝塔共轭下，后验分布参数更新为：

1. $\mathrm {Beta} (\alpha +S,\ \beta +n-S)$
2. $\mathrm {Beta} (\alpha ,\ \beta )$
3. $\mathrm {Gamma} (a+S,\ b+n)$
4. ${\mathcal {N}}(\mu _{0},\tau _{0}^{2})$

显示答案/解析

答案：1。

判断题

MAP 总是等同于 MLE。

1. 对
2. 错

显示答案/解析

答案：错。仅在均匀先验或等价条件下重合。

跨章导航

跳转	页面
上一节	似然方法与MLE
下一节	非参数方法
返回目录	目录