数理统计/高维与正则化

数理统计/高维与正则化

学习目标

目标项	内容
高维现象	p≈n 与 p≫n 的挑战
正则化	岭回归、Lasso、弹性网
选择与评估	λ路径、CV与信息准则

能力要点	说明
稳定估计	缓解多重共线性与过拟合
稀疏选择	L1惩罚与变量筛选
调参与验证	K折CV与一标一准

正则化回归

岭回归最小化 $\|Y-X\beta \|_{2}^{2}+\lambda \|\beta \|_{2}^{2}$；Lasso 最小化 $\|Y-X\beta \|_{2}^{2}+\lambda \|\beta \|_{1}$；弹性网为二者加权组合。

方法	惩罚	特点
岭	$L2$	稳定、不断零
Lasso	$L1$	稀疏、可变量选择
弹性网	$L1+L2$	组效应与稀疏兼顾

评估与选择

通过 $\lambda$ 路径与交叉验证选择；高维情形下亦参考信息准则（如EBIC）。

工具	作用	备注
CV曲线	估计泛化误差	选择 $\lambda$
一标一准	$\lambda _{\min },\lambda _{1se}$	偏稳健选择
稳定性选择	子采样频率	变量稳健性

高维现象与注意

距离集中、过拟合风险升高；需中心化/标准化，关注可解释性与重复性。

风险	描述	缓解
过拟合	训练误差虚高	强惩罚/CV
共线性	估计不稳	岭/弹性网
漂移	特征选择不稳定	稳定性选择

章节测验

单选题

哪个方法能产生稀疏解（系数恰为0）？

1. 岭回归
2. Lasso
3. 主成分回归
4. 线性最小二乘

显示答案/解析

答案：2。

判断题

选择 $\lambda _{1se}$ 往往更保守、更简化模型。

1. 对
2. 错

显示答案/解析

答案：对。

跨章导航

跳转	页面
上一节	重抽样方法
返回目录	目录