沿著梯度走下狹窄谷地
進階OPT 06・梯度下降、牛頓步驟與數值可靠性互動圖表
題目說明
觀察適用於圓形碗面的步長,為何可能在狹窄谷地發散。
試試看:設定 k = 10,比較步長 0.1、0.2 與 0.3。在穩定邊界上,y 座標有什麼變化?
解析
請先回答預測問題,或在準備好時再打開解析。
顯示解析
陡峭方向每步乘上 1 − ηk,只有在 η 小於 2/k = 0.4 時,其絕對值才小於 1。因此 0.15 與 0.30 會收斂(0.30 會來回越過最低點),0.45 則發散。
實驗 · 沿著梯度走下狹窄谷地
- 最終目標函數值
- 0.034
- 收斂條件:0 < η <
- 0.4
- 座標乘數 (x, y)
- 0.85, 0.25
兩個座標乘數的絕對值皆小於 1,因此迭代會收斂。負乘數造成交替移動;接近 1 或 −1 的乘數則使進展緩慢。
試試看:設定 k = 10,比較步長 0.1、0.2 與 0.3。在穩定邊界上,y 座標有什麼變化?
精確的二次函數:f(x,y) = (x² + ky²)/2,起點為 (3,2)。更新式為 x ← (1−η)x、y ← (1−ηk)y。等高線圖使用固定視窗,顯示的目標函數值不會截斷。