完整搜尋頁面 →

沿著梯度走下狹窄谷地

進階OPT 06・梯度下降、牛頓步驟與數值可靠性互動圖表

題目說明

觀察適用於圓形碗面的步長,為何可能在狹窄谷地發散。

試試看:設定 k = 10,比較步長 0.1、0.2 與 0.3。在穩定邊界上,y 座標有什麼變化?

先預測

曲率比是 k = 5。哪一個步長會讓迭代發散而不是收斂?

提示

使用這個實驗的章節段落:

解析

請先回答預測問題,或在準備好時再打開解析。

顯示解析

陡峭方向每步乘上 1 − ηk,只有在 η 小於 2/k = 0.4 時,其絕對值才小於 1。因此 0.15 與 0.30 會收斂(0.30 會來回越過最低點),0.45 則發散。

實驗 · 沿著梯度走下狹窄谷地

先預測

曲率比是 k = 5。哪一個步長會讓迭代發散而不是收斂?

最終目標函數值
0.034
收斂條件:0 < η <
0.4
座標乘數 (x, y)
0.85, 0.25

兩個座標乘數的絕對值皆小於 1,因此迭代會收斂。負乘數造成交替移動;接近 1 或 −1 的乘數則使進展緩慢。

試試看:設定 k = 10,比較步長 0.1、0.2 與 0.3。在穩定邊界上,y 座標有什麼變化?

精確的二次函數:f(x,y) = (x² + ky²)/2,起點為 (3,2)。更新式為 x ← (1−η)x、y ← (1−ηk)y。等高線圖使用固定視窗,顯示的目標函數值不會截斷。

方法來源

在互動實驗頁開啟 →