完整搜尋頁面 →

為何有限差分步長越小反而越差?

入門ML 01C・數值計算與梯度檢查互動圖表

題目說明

檢查 exp(x) 的導數,區分截斷誤差與浮點相減造成的消去誤差。

試試看:將 h 從 10⁻¹ 掃描至 10⁻¹⁶。找出前向差分與中央差分的有效區間,而非直接選最小步長。

實驗 · 為何有限差分步長越小反而越差?

解析導數
2.71828183
數值導數
2.71828183
相對誤差
2.155e-11

h 太大會產生近似誤差;h 太小則會相減兩個極接近的浮點值,流失有效位數。中央差分消去領先的截斷項,但仍受捨入誤差影響。

試試看:將 h 從 10⁻¹ 掃描至 10⁻¹⁶。找出前向差分與中央差分的有效區間,而非直接選最小步長。

使用 JavaScript binary64 運算;此處「解析值」是以相同精度計算的解析導數 exp(x)。測得零誤差只代表捨入後相同,不是實數運算完全精確的證明。

方法來源

在互動實驗頁開啟 →