為何有限差分步長越小反而越差?
入門ML 01C・數值計算與梯度檢查互動圖表
題目說明
檢查 exp(x) 的導數,區分截斷誤差與浮點相減造成的消去誤差。
試試看:將 h 從 10⁻¹ 掃描至 10⁻¹⁶。找出前向差分與中央差分的有效區間,而非直接選最小步長。
實驗 · 為何有限差分步長越小反而越差?
- 解析導數
- 2.71828183
- 數值導數
- 2.71828183
- 相對誤差
- 2.155e-11
h 太大會產生近似誤差;h 太小則會相減兩個極接近的浮點值,流失有效位數。中央差分消去領先的截斷項,但仍受捨入誤差影響。
試試看:將 h 從 10⁻¹ 掃描至 10⁻¹⁶。找出前向差分與中央差分的有效區間,而非直接選最小步長。
使用 JavaScript binary64 運算;此處「解析值」是以相同精度計算的解析導數 exp(x)。測得零誤差只代表捨入後相同,不是實數運算完全精確的證明。
方法來源
- Ian Goodfellow, Yoshua Bengio & Aaron Courville, Deep Learning, MIT Press, 2016
- Ashish Vaswani et al., Attention Is All You Need, NeurIPS, 2017
- Jonathan Ho, Ajay Jain & Pieter Abbeel, Denoising Diffusion Probabilistic Models, NeurIPS, 2020
- Tim Salimans & Jonathan Ho, Progressive Distillation for Fast Sampling of Diffusion Models, ICLR, 2022