PR 03・模型複雜度與收縮
中階PR 03・迴歸與分類的線性模型互動圖表
題目說明
以嶺迴歸擬合多項式基底,區分訓練誤差與原始函數的還原誤差。
試試看:使用七次多項式並增加正則化。最低訓練誤差,是否也對應最低的原始函數誤差?
解析
請先回答預測問題,或在準備好時再打開解析。
顯示解析
它從約 0.0005 升到約 0.0063。多出來的彈性擬合了 12 個訓練點中的雜訊,訓練誤差因此下降,曲線卻離真實函數更遠。
實驗 · PR 03・模型複雜度與收縮
- 訓練均方誤差
- 0.0538
- 真實函數網格誤差
- 0.029
- 係數範數平方
- 5.403
改變 λ 會改變擬合係數,觀測值維持固定。大幅懲罰可抑制對雜訊的擬合,也可能壓低表示訊號所需的曲率。
試試看:使用七次多項式並增加正則化。最低訓練誤差,是否也對應最低的原始函數誤差?
藍線最小化殘差平方和加上 λ 乘以非截距係數的平方和。十二個合成點加入固定擾動。虛線為 sin(πx);只有在這個已知合成問題中,才能直接計算它的網格誤差。多項式特徵對係數仍是線性的。