數理統計/貝葉斯方法

數理統計/貝葉斯方法

學習目標

目標項	內容
先驗-似然-後驗	Bayes 更新與證據
共軛先驗	指數族的共軛族
點/區間估計	後驗均值、中位數、HPD區間

能力要點	說明
設定先驗	信息化與非信息先驗
共軛推導	利用充分統計量閉合
計算與近似	MCMC/拉普拉斯近似

Bayes 更新

$p(\theta \mid x)\propto p(x\mid \theta )p(\theta )$，證據 $p(x)=\int p(x\mid \theta )p(\theta )\mathrm {d} \theta$。

模型	似然	共軛先驗	後驗
伯努利/二項	$\mathrm {Bin} (n,p)$	$\mathrm {Beta} (\alpha ,\beta )$	$\mathrm {Beta} (\alpha +S,\ \beta +n-S)$
泊松	$\mathrm {Pois} (\lambda )$	$\mathrm {Gamma} (a,b)$	$\mathrm {Gamma} (a+\sum x_{i},\ b+n)$
正態均值（方差已知）	${\mathcal {N}}(\mu ,\sigma ^{2}/n)$	${\mathcal {N}}(\mu _{0},\tau _{0}^{2})$	正態閉合
正態均值與方差	正態-逆伽馬	正態-逆伽馬	閉合

決策準則	估計量	備註
平方損失	後驗均值	最小化後驗風險
絕對損失	後驗中位數	穩健
0-1 損失	後驗眾數	MAP

HPD 區間與預測

HPD 為後驗密度最高的最短區間；預測分布 $p({\tilde {x}}\mid x)=\int p({\tilde {x}}\mid \theta )p(\theta \mid x)\mathrm {d} \theta$。

內容	表達	用途
HPD 區間	等密度閾值構造	區間估計
預測分布	積分邊緣化	未來觀測

計算方法

閉式難以獲得時，使用拉普拉斯近似、重要性採樣、MCMC（Metropolis-Hastings、Gibbs）。

方法	特點	適用
拉普拉斯	局部二次近似	模式清晰
重要性採樣	權重重標	中小維
MCMC	漸近正確	高維複雜模型

章節測驗

單選題

二項-貝塔共軛下，後驗分布參數更新為：

1. $\mathrm {Beta} (\alpha +S,\ \beta +n-S)$
2. $\mathrm {Beta} (\alpha ,\ \beta )$
3. $\mathrm {Gamma} (a+S,\ b+n)$
4. ${\mathcal {N}}(\mu _{0},\tau _{0}^{2})$

顯示答案/解析

答案：1。

判斷題

MAP 總是等同於 MLE。

1. 對
2. 錯

顯示答案/解析

答案：錯。僅在均勻先驗或等價條件下重合。

跨章導航

跳轉	頁面
上一節	似然方法與MLE
下一節	非參數方法
返回目錄	目錄