数理统计/点估计

数理统计/点估计

学习目标

目标项	内容
点估计的基本概念	参数、估计量、估计值与抽样分布
常见方法	矩估计、极大似然、无偏估计、最小方差无偏估计
估计量评价	无偏性、一致性、有效性、均方误差

侧重能力	说明
构造估计量	针对参数设计并推导
计算与验证	写出似然、求导、解方程与边界检查
比较优劣	从偏差、方差、均方误差和极限性质评估

常见误区	对策
把估计值当作真值	报告不确定度（标准误）
忽略边界与约束	先验可行域与参数空间核对
仅看无偏不看方差	综合均方误差与一致性

基本概念

参数与估计

设总体由参数 $\theta$ 描述。估计量 ${\hat {\theta }}=T(X_{1},\dots ,X_{n})$ 是样本的函数；观测后得到估计值。

评价指标

无偏性：$\mathrm {E} _{\theta }({\hat {\theta }})=\theta$。一致性：${\hat {\theta }}\xrightarrow {P} \theta$。有效性：在无偏类中方差最小。均方误差：$\mathrm {MSE} ({\hat {\theta }})=\mathrm {Var} ({\hat {\theta }})+\mathrm {Bias} ({\hat {\theta }})^{2}$。

指标	数学表达	含义
无偏性	$\mathrm {E} ({\hat {\theta }})=\theta$	平均不偏离
一致性	${\hat {\theta }}\to \theta$（概率意义）	样本量增大趋近真值
有效性	同类中方差最小	更稳定

量	表达式	备注
偏差	$\mathrm {Bias} ({\hat {\theta }})=\mathrm {E} ({\hat {\theta }})-\theta$	可用小偏换小方差
方差	$\mathrm {Var} ({\hat {\theta }})$	反映波动
均方误差	$\mathrm {MSE} =\mathrm {Var} +\mathrm {Bias} ^{2}$	综合指标

估计量示例	形式	估计对象
样本均值 ${\bar {X}}$	${\dfrac {1}{n}}\sum X_{i}$	均值 $\mu$
样本方差 $S^{2}$	${\dfrac {1}{n-1}}\sum (X_{i}-{\bar {X}})^{2}$	方差 $\sigma ^{2}$
样本比例 ${\hat {p}}$	${\dfrac {1}{n}}\sum \mathbf {1} \{X_{i}=1\}$	成功率 $p$

矩估计法

思路

用样本矩逼近总体矩。令样本一阶矩 $m_{1}={\bar {X}}$ 近似总体一阶矩 $\mu _{1}(\theta )$，解出 ${\hat {\theta }}$；多参数用更多矩方程。

例：泊松分布

若 $X\sim \mathrm {Pois} (\lambda )$，总体均值为 $\lambda$，矩估计 ${\hat {\lambda }}_{\text{矩}}={\bar {X}}$。

模型	总体矩	矩估计
伯努利（成功率 $p$）	$\mathrm {E} (X)=p$	${\hat {p}}_{\text{矩}}={\bar {X}}$
泊松（率 $\lambda$）	$\mathrm {E} (X)=\lambda$	${\hat {\lambda }}_{\text{矩}}={\bar {X}}$
指数（率 $\lambda$）	$\mathrm {E} (X)=1/\lambda$	${\hat {\lambda }}_{\text{矩}}=1/{\bar {X}}$

优点	缺点
简单、易解	可能效率不高
对似然不敏感	可能存在多解或不稳定

步骤	动作	输出
1	写总体矩表达式	$\mu _{k}(\theta )$
2	计算样本矩	$m_{k}$
3	解矩方程	得到 ${\hat {\theta }}$

极大似然法

似然函数

给定密度/质量 $f(x\mid \theta )$，样本独立，则似然 $L(\theta )=\prod _{i=1}^{n}f(x_{i}\mid \theta )$，对数似然 $\ell (\theta )=\sum _{i=1}^{n}\ln f(x_{i}\mid \theta )$。

估计与性质

极大似然估计 ${\hat {\theta }}_{\text{极大似然}}=\arg \max _{\theta }\ell (\theta )$。在一般正则条件下，一致、渐近正态并渐近有效：${\sqrt {n}}({\hat {\theta }}-\theta )\xrightarrow {d} {\mathcal {N}}(0,I(\theta )^{-1})$，其中 $I(\theta )=-\mathrm {E} [\ell ''(\theta )]$ 为费舍尔信息量。

模型	对数似然	一阶条件（求导=0）
伯努利（$p$）	$\ell (p)=\sum [x_{i}\ln p+(1-x_{i})\ln(1-p)]$	${\hat {p}}={\bar {X}}$
泊松（$\lambda$）	$\ell (\lambda )=\sum (x_{i}\ln \lambda -\lambda -\ln x_{i}!)$	${\hat {\lambda }}={\bar {X}}$
正态均值已知方差	$\ell (\mu )=-{\tfrac {1}{2\sigma ^{2}}}\sum (x_{i}-\mu )^{2}+{\text{常数}}$	${\hat {\mu }}={\bar {X}}$

性质	内容	说明
不变性	对参数变换 $\eta =g(\theta )$，有 ${\hat {\eta }}=g({\hat {\theta }})$	先估后变换
渐近正态	速率 ${\sqrt {n}}$	建立近似区间
渐近有效	达到信息下界	在正则条件下

检查项	可能问题	处理
参数边界	极值在边界	查看约束
多峰	初值敏感	多起点搜索
非正则	信息量不存在	用其他方法

无偏估计与最小方差无偏估计

无偏估计

若 $\mathrm {E} _{\theta }({\hat {\theta }})=\theta$，称为无偏。若在所有无偏估计量中方差最小，称为最小方差无偏估计。

充要统计量与完备性（要点）

若存在完备充分统计量，利用Lehmann–Scheffé定理可构造最小方差无偏估计。

场景	无偏估计	备注
正态方差未知的均值	${\bar {X}}$ 无偏估计 $\mu$	经典
正态方差	$S^{2}$ 无偏估计 $\sigma ^{2}$	分母 $n-1$
伯努利成功率	${\hat {p}}={\bar {X}}$ 无偏估计 $p$	简洁

工具	作用	说明
Rao–Blackwell	降方差	条件期望改进
Lehmann–Scheffé	构造最小方差无偏估计	需完备充分

提示	实操
先找充分统计量	因子分解准则
再做条件期望	Rao–Blackwell化
验证完备性	指数族常见

均方误差与偏差-方差权衡

定义

$\mathrm {MSE} ({\hat {\theta }})=\mathrm {Var} ({\hat {\theta }})+\mathrm {Bias} ({\hat {\theta }})^{2}$。当允许小偏差时，有时能显著降低方差。

示例

缩尾估计、岭型思想常以降低方差为目的。

估计量A	估计量B	选择
无偏但方差较大	略有偏差但方差小很多	比较MSE后再定

指标	A（无偏高方差）	B（小偏小方差）
偏差	0	小
方差	大	小
MSE	可能大	可能更小

步骤	内容
明确目标	最小化MSE或保持无偏
评估	计算或近似偏差与方差
决策	结合样本量与应用风险

小结与操作清单

步骤	动作	检查点
1	选方法（矩/极大似然/无偏）	是否满足模型假设
2	写出目标与约束	参数空间、边界
3	推导估计量	求导、解方程、唯一性
4	评估表现	偏差、方差、MSE、渐近性质
5	报告结果	点估计＋标准误，说明假设

术语清单	要点
似然	来自模型的“证据强度”
信息量	决定估计精度的下界
渐近	样本量趋大时的近似规律

常用结论	公式
伯努利成功率极大似然	${\hat {p}}={\bar {X}}$
泊松率极大似然	${\hat {\lambda }}={\bar {X}}$
指数率极大似然	${\hat {\lambda }}=1/{\bar {X}}$

章节测验

单选题一

问：下列哪项不属于点估计量评价的常用指标？

1. 无偏性
2. 一致性
3. 有效性
4. 参考文献

显示答案/解析

答案：参考文献（不属于评价指标）。

单选题二

问：对于伯努利成功率 $p$，极大似然估计为：

1. ${\bar {X}}$
2. $S^{2}$
3. $1/{\bar {X}}$
4. ${\bar {X}}^{2}$

显示答案/解析

答案：${\bar {X}}$。

判断题

断言：均方误差等于方差与偏差平方之和。

1. 对
2. 错

显示答案/解析

答案：对。$\mathrm {MSE} =\mathrm {Var} +\mathrm {Bias} ^{2}$。

计算小问（可选）

观测到 $n=200$ 次尝试中成功 $Y=30$ 次，给出 ${\hat {p}}$ 及标准误。

显示答案/解析

${\hat {p}}=30/200=0.15$，标准误 ${\sqrt {{\hat {p}}(1-{\hat {p}})/n}}\approx {\sqrt {0.15\times 0.85/200}}\approx 0.0253$。

跨章导航

跳转	页面
上一节	随机样本与统计量
下一节	区间估计
返回目录	目录