數理統計/高維與正則化

數理統計/高維與正則化

學習目標

目標項	內容
高維現象	p≈n 與 p≫n 的挑戰
正則化	嶺回歸、Lasso、彈性網
選擇與評估	λ路徑、CV與信息準則

能力要點	說明
穩定估計	緩解多重共線性與過擬合
稀疏選擇	L1懲罰與變量篩選
調參與驗證	K折CV與一標一準

正則化回歸

嶺回歸最小化 $\|Y-X\beta \|_{2}^{2}+\lambda \|\beta \|_{2}^{2}$；Lasso 最小化 $\|Y-X\beta \|_{2}^{2}+\lambda \|\beta \|_{1}$；彈性網為二者加權組合。

方法	懲罰	特點
嶺	$L2$	穩定、不斷零
Lasso	$L1$	稀疏、可變量選擇
彈性網	$L1+L2$	組效應與稀疏兼顧

評估與選擇

通過 $\lambda$ 路徑與交叉驗證選擇；高維情形下亦參考信息準則（如EBIC）。

工具	作用	備註
CV曲線	估計泛化誤差	選擇 $\lambda$
一標一準	$\lambda _{\min },\lambda _{1se}$	偏穩健選擇
穩定性選擇	子採樣頻率	變量穩健性

高維現象與注意

距離集中、過擬合風險升高；需中心化/標準化，關注可解釋性與重複性。

風險	描述	緩解
過擬合	訓練誤差虛高	強懲罰/CV
共線性	估計不穩	嶺/彈性網
漂移	特徵選擇不穩定	穩定性選擇

章節測驗

單選題

哪個方法能產生稀疏解（係數恰為0）？

1. 嶺回歸
2. Lasso
3. 主成分回歸
4. 線性最小二乘

顯示答案/解析

答案：2。

判斷題

選擇 $\lambda _{1se}$ 往往更保守、更簡化模型。

1. 對
2. 錯

顯示答案/解析

答案：對。

跨章導航

跳轉	頁面
上一節	重抽樣方法
返回目錄	目錄