完整搜尋頁面 →

PR 03・模型複雜度與收縮

中階PR 03・迴歸與分類的線性模型互動圖表

題目說明

以嶺迴歸擬合多項式基底,區分訓練誤差與原始函數的還原誤差。

試試看:使用七次多項式並增加正則化。最低訓練誤差,是否也對應最低的原始函數誤差?

先預測

設 λ = 0,把次數從 5 提高到 6。訓練誤差下降(0.0285 到 0.0239)。與真實函數的誤差會怎麼變?

提示

使用這個實驗的章節段落:

解析

請先回答預測問題,或在準備好時再打開解析。

顯示解析

它從約 0.0005 升到約 0.0063。多出來的彈性擬合了 12 個訓練點中的雜訊,訓練誤差因此下降,曲線卻離真實函數更遠。

實驗 · PR 03・模型複雜度與收縮

先預測

設 λ = 0,把次數從 5 提高到 6。訓練誤差下降(0.0285 到 0.0239)。與真實函數的誤差會怎麼變?

訓練均方誤差
0.0538
真實函數網格誤差
0.029
係數範數平方
5.403

改變 λ 會改變擬合係數,觀測值維持固定。大幅懲罰可抑制對雜訊的擬合,也可能壓低表示訊號所需的曲率。

試試看:使用七次多項式並增加正則化。最低訓練誤差,是否也對應最低的原始函數誤差?

藍線最小化殘差平方和加上 λ 乘以非截距係數的平方和。十二個合成點加入固定擾動。虛線為 sin(πx);只有在這個已知合成問題中,才能直接計算它的網格誤差。多項式特徵對係數仍是線性的。

方法來源

在互動實驗頁開啟 →