數理統計/似然方法與MLE

數理統計/常見分布族與充分統計量

學習目標

目標項	內容
指數族結構	一參數/多參數自然指數族形式
充分統計量	因子分解定理、最簡充分
完備性	指數族的完備充分條件

能力要點	說明
識別指數族	將密度寫成指數族標準形
尋找充分統計量	應用因子分解準則
判斷完備性	用指數族定理判定

常見誤區	對策
把「充分=完備」	區分定義並逐項驗證
忽略參數空間	指數族完備需自然參數空間開集
混淆最簡充分	利用極大似然等價類或Neyman定理

指數族

密度/質量函數可寫為 $f(x\mid \theta )=\exp \{\eta (\theta {)}^{\mathrm{\top }}T(x)-A(\theta )\}h(x)$。$T(X)$ 常為充分統計量。

分布	參數	指數族寫法要點	充分統計量
伯努利/二項	$p$	$\eta =\ln \frac{p}{1-p}$，$T=\sum X_i$	$\sum X_i$
泊松	$\lambda$	$\eta =\ln \lambda$，$T=\sum X_i$	$\sum X_i$
正態（均值未知，方差已知）	$\mu$	$\eta =\mu /{\sigma }^2$，$T=\sum X_i$	$\sum X_i$
正態（均值、方差未知）	$\mu ,{\sigma }^2$	二參數指數族	$\sum X_i,\sum X_i^2$
指數	$\lambda$	$\eta =-\lambda$，$T=\sum X_i$	$\sum X_i$

充分統計量與因子分解定理

若存在分解 $f(x\mid \theta )=g(T(x),\theta )h(x)$，則 $T(X)$ 為充分統計量。

模型	樣本	充分統計量示例	備註
正態($\mu$未知,${\sigma }^2$已知)	獨立同分布	$\sum X_i$ 或 $\overline{X}$	線性等價
正態($\mu ,{\sigma }^2$未知)	獨立同分布	$\sum X_i,\sum (X_i-\overline{X}{)}^2$	與 $\sum X_i^2$ 等價
二項($n$已知)	成功次數	$\sum X_i$	記為 $Y$

完備性與最小方差無偏

對正則指數族，若自然參數空間為開集且 $T(X)$ 非退化，則 $T(X)$ 完備。配合充分性與Lehmann–Scheffé定理，可得最小方差無偏估計。

概念	定義/結論	應用
完備	$\mathrm{\forall }g,{\mathrm{E}}_{\theta }g(T)=0\Rightarrow P(g(T)=0)=1$	唯一化無偏估計
最簡充分	由似然比等價類誘導	壓縮數據且不丟信息

章節測驗

單選題

下列哪項一定為充分統計量？

1. 一切統計量
2. 指數族中的 $T(X)$（在標準表示下）
3. 樣本中位數
4. 樣本極差

顯示答案/解析

答案：2。指數族標準形的 $T(X)$ 為充分統計量。

判斷題

若 $T$ 完備充分，則基於 $T$ 的一切無偏估計均為最小方差無偏。

1. 對
2. 錯

顯示答案/解析

答案：對。由Lehmann–Scheffé定理。

跨章導航

跳轉	頁面
下一節	似然方法與MLE
返回目錄	目錄