數理統計/點估計

數理統計/點估計

學習目標

目標項	內容
點估計的基本概念	參數、估計量、估計值與抽樣分布
常見方法	矩估計、極大似然、無偏估計、最小方差無偏估計
估計量評價	無偏性、一致性、有效性、均方誤差

側重能力	說明
構造估計量	針對參數設計並推導
計算與驗證	寫出似然、求導、解方程與邊界檢查
比較優劣	從偏差、方差、均方誤差和極限性質評估

常見誤區	對策
把估計值當作真值	報告不確定度（標準誤）
忽略邊界與約束	先驗可行域與參數空間核對
僅看無偏不看方差	綜合均方誤差與一致性

基本概念

參數與估計

設總體由參數 $\theta$ 描述。估計量 ${\hat {\theta }}=T(X_{1},\dots ,X_{n})$ 是樣本的函數；觀測後得到估計值。

評價指標

無偏性：$\mathrm {E} _{\theta }({\hat {\theta }})=\theta$。一致性：${\hat {\theta }}\xrightarrow {P} \theta$。有效性：在無偏類中方差最小。均方誤差：$\mathrm {MSE} ({\hat {\theta }})=\mathrm {Var} ({\hat {\theta }})+\mathrm {Bias} ({\hat {\theta }})^{2}$。

指標	數學表達	含義
無偏性	$\mathrm {E} ({\hat {\theta }})=\theta$	平均不偏離
一致性	${\hat {\theta }}\to \theta$（機率意義）	樣本量增大趨近真值
有效性	同類中方差最小	更穩定

量	表達式	備註
偏差	$\mathrm {Bias} ({\hat {\theta }})=\mathrm {E} ({\hat {\theta }})-\theta$	可用小偏換小方差
方差	$\mathrm {Var} ({\hat {\theta }})$	反映波動
均方誤差	$\mathrm {MSE} =\mathrm {Var} +\mathrm {Bias} ^{2}$	綜合指標

估計量示例	形式	估計對象
樣本均值 ${\bar {X}}$	${\dfrac {1}{n}}\sum X_{i}$	均值 $\mu$
樣本方差 $S^{2}$	${\dfrac {1}{n-1}}\sum (X_{i}-{\bar {X}})^{2}$	方差 $\sigma ^{2}$
樣本比例 ${\hat {p}}$	${\dfrac {1}{n}}\sum \mathbf {1} \{X_{i}=1\}$	成功率 $p$

矩估計法

思路

用樣本矩逼近總體矩。令樣本一階矩 $m_{1}={\bar {X}}$ 近似總體一階矩 $\mu _{1}(\theta )$，解出 ${\hat {\theta }}$；多參數用更多矩方程。

例：泊松分布

若 $X\sim \mathrm {Pois} (\lambda )$，總體均值為 $\lambda$，矩估計 ${\hat {\lambda }}_{\text{矩}}={\bar {X}}$。

模型	總體矩	矩估計
伯努利（成功率 $p$）	$\mathrm {E} (X)=p$	${\hat {p}}_{\text{矩}}={\bar {X}}$
泊松（率 $\lambda$）	$\mathrm {E} (X)=\lambda$	${\hat {\lambda }}_{\text{矩}}={\bar {X}}$
指數（率 $\lambda$）	$\mathrm {E} (X)=1/\lambda$	${\hat {\lambda }}_{\text{矩}}=1/{\bar {X}}$

優點	缺點
簡單、易解	可能效率不高
對似然不敏感	可能存在多解或不穩定

步驟	動作	輸出
1	寫總體矩表達式	$\mu _{k}(\theta )$
2	計算樣本矩	$m_{k}$
3	解矩方程	得到 ${\hat {\theta }}$

極大似然法

似然函數

給定密度/質量 $f(x\mid \theta )$，樣本獨立，則似然 $L(\theta )=\prod _{i=1}^{n}f(x_{i}\mid \theta )$，對數似然 $\ell (\theta )=\sum _{i=1}^{n}\ln f(x_{i}\mid \theta )$。

估計與性質

極大似然估計 ${\hat {\theta }}_{\text{极大似然}}=\arg \max _{\theta }\ell (\theta )$。在一般正則條件下，一致、漸近正態並漸近有效：${\sqrt {n}}({\hat {\theta }}-\theta )\xrightarrow {d} {\mathcal {N}}(0,I(\theta )^{-1})$，其中 $I(\theta )=-\mathrm {E} [\ell ''(\theta )]$ 為費舍爾信息量。

模型	對數似然	一階條件（求導=0）
伯努利（$p$）	$\ell (p)=\sum [x_{i}\ln p+(1-x_{i})\ln(1-p)]$	${\hat {p}}={\bar {X}}$
泊松（$\lambda$）	$\ell (\lambda )=\sum (x_{i}\ln \lambda -\lambda -\ln x_{i}!)$	${\hat {\lambda }}={\bar {X}}$
正態均值已知方差	$\ell (\mu )=-{\tfrac {1}{2\sigma ^{2}}}\sum (x_{i}-\mu )^{2}+{\text{常数}}$	${\hat {\mu }}={\bar {X}}$

性質	內容	說明
不變性	對參數變換 $\eta =g(\theta )$，有 ${\hat {\eta }}=g({\hat {\theta }})$	先估後變換
漸近正態	速率 ${\sqrt {n}}$	建立近似區間
漸近有效	達到信息下界	在正則條件下

檢查項	可能問題	處理
參數邊界	極值在邊界	查看約束
多峰	初值敏感	多起點搜索
非正則	信息量不存在	用其他方法

無偏估計與最小方差無偏估計

無偏估計

若 $\mathrm {E} _{\theta }({\hat {\theta }})=\theta$，稱為無偏。若在所有無偏估計量中方差最小，稱為最小方差無偏估計。

充要統計量與完備性（要點）

若存在完備充分統計量，利用Lehmann–Scheffé定理可構造最小方差無偏估計。

場景	無偏估計	備註
正態方差未知的均值	${\bar {X}}$ 無偏估計 $\mu$	經典
正態方差	$S^{2}$ 無偏估計 $\sigma ^{2}$	分母 $n-1$
伯努利成功率	${\hat {p}}={\bar {X}}$ 無偏估計 $p$	簡潔

工具	作用	說明
Rao–Blackwell	降方差	條件期望改進
Lehmann–Scheffé	構造最小方差無偏估計	需完備充分

提示	實操
先找充分統計量	因子分解準則
再做條件期望	Rao–Blackwell化
驗證完備性	指數族常見

均方誤差與偏差-方差權衡

定義

$\mathrm {MSE} ({\hat {\theta }})=\mathrm {Var} ({\hat {\theta }})+\mathrm {Bias} ({\hat {\theta }})^{2}$。當允許小偏差時，有時能顯著降低方差。

示例

縮尾估計、嶺型思想常以降低方差為目的。

估計量A	估計量B	選擇
無偏但方差較大	略有偏差但方差小很多	比較MSE後再定

指標	A（無偏高方差）	B（小偏小方差）
偏差	0	小
方差	大	小
MSE	可能大	可能更小

步驟	內容
明確目標	最小化MSE或保持無偏
評估	計算或近似偏差與方差
決策	結合樣本量與應用風險

小結與操作清單

步驟	動作	檢查點
1	選方法（矩/極大似然/無偏）	是否滿足模型假設
2	寫出目標與約束	參數空間、邊界
3	推導估計量	求導、解方程、唯一性
4	評估表現	偏差、方差、MSE、漸近性質
5	報告結果	點估計＋標準誤，說明假設

術語清單	要點
似然	來自模型的「證據強度」
信息量	決定估計精度的下界
漸近	樣本量趨大時的近似規律

常用結論	公式
伯努利成功率極大似然	${\hat {p}}={\bar {X}}$
泊松率極大似然	${\hat {\lambda }}={\bar {X}}$
指數率極大似然	${\hat {\lambda }}=1/{\bar {X}}$

章節測驗

單選題一

問：下列哪項不屬於點估計量評價的常用指標？

1. 無偏性
2. 一致性
3. 有效性
4. 參考文獻

顯示答案/解析

答案：參考文獻（不屬於評價指標）。

單選題二

問：對於伯努利成功率 $p$，極大似然估計為：

1. ${\bar {X}}$
2. $S^{2}$
3. $1/{\bar {X}}$
4. ${\bar {X}}^{2}$

顯示答案/解析

答案：${\bar {X}}$。

判斷題

斷言：均方誤差等於方差與偏差平方之和。

1. 對
2. 錯

顯示答案/解析

答案：對。$\mathrm {MSE} =\mathrm {Var} +\mathrm {Bias} ^{2}$。

計算小問（可選）

觀測到 $n=200$ 次嘗試中成功 $Y=30$ 次，給出 ${\hat {p}}$ 及標準誤。

顯示答案/解析

${\hat {p}}=30/200=0.15$，標準誤 ${\sqrt {{\hat {p}}(1-{\hat {p}})/n}}\approx {\sqrt {0.15\times 0.85/200}}\approx 0.0253$。

跨章導航

跳轉	頁面
上一節	隨機樣本與統計量
下一節	區間估計
返回目錄	目錄