完整搜尋頁面 →

深度學習中的傅立葉概念詳解

選讀・IP 04・頻域濾波 的論文導讀(第 1/1 篇)。引用編號對應本頁底部的參考文獻。

導覽:本頁與本系列: 導覽:本頁與本系列

先區分頻率分析的角色:取樣可恢復性、訓練頻譜偏差、頻譜運算層,或函數之間的算子學習。

教材閱讀地圖 — 各卡片對照不同論文回答的問題;這些分類互補,不代表效能排名,也不是轉載其中一篇的架構圖。
教材閱讀地圖 — 各卡片對照不同論文回答的問題;這些分類互補,不代表效能排名,也不是轉載其中一篇的架構圖。

值得一讀的綜述與回顧

Unser,〈Sampling — 50 years after Shannon〉[3]

回顧取樣理論從 Shannon 的帶限模型,一路發展到現代的樣條與平移不變空間(shift-invariant space)表述。重點:理想的 sinc 內插只是數學上的理想化;實際系統使用緊湊的核心搭配相應的前置濾波器,而其近似誤差可以在傅立葉域中精確分析。這是從本章的取樣定理通往實際重取樣程式碼的最佳橋樑。

Xu、Zhang 與 Luo,〈Overview frequency principle/spectral bias in deep learning〉[13]

一篇關於頻率原則(frequency principle)的綜述:以梯度下降訓練的神經網路,傾向先擬合目標的低頻成分、之後才擬合高頻成分。文中整理了這個現象背後的理論與實驗,以及它在演算法設計上的應用。重點:神經網路在訓練過程中有點像一個慢慢打開的低通濾波器。

Kovachki 等人,〈Neural Operator: Learning Maps Between Function Spaces〉[15]

一篇完整而深入的神經算子(neural operator)專論。神經算子學習的是函數之間的映射,而不是固定大小陣列之間的映射,傅立葉神經算子是其四種主要參數化方式之一。重點:用頻率響應來參數化一層網路,可以讓它在很大程度上不受網格解析度影響,這正是本章「濾波 = 在頻域中相乘」想法的直系後代。

傅立葉轉換作為快速卷積引擎

卷積定理保證大型卷積可以變成便宜的乘法。Mathieu、Henaff 與 LeCun [9] 把這一點用在卷積神經網路上:他們在 GPU 上把卷積算成 FFT 之間的逐點乘積,並重複使用每個轉換過的特徵圖,回報了大幅的訓練加速。如今多數 CNN 使用 3×3 的小卷積核,此時直接做空間卷積通常較快,所以 FFT 卷積主要用於大型卷積核。正文「空間濾波器與頻域濾波器的對應」一節的推論在這裡完全適用。

具有全域感受野的傅立葉層

頻域中的逐點乘積會影響每一個像素,所以單一個傅立葉層就擁有整張影像的感受野(receptive field)。好幾種架構利用了這一點。Fast Fourier Convolution [10] 加入一個全域分支,直接在影像層級的頻譜上運算,把全域資訊混入每一層。Global Filter Networks [11] 把視覺 Transformer 的自注意力換成正是本章的步驟:二維 FFT、與一個可學習的全域濾波器逐元素相乘、再做反 FFT,成本對 token 數量為對數線性。Fourier Neural Operator [14] 在截斷後的一組低頻上使用可學習的濾波器來解偏微分方程;由於權重存在於頻率空間中,訓練好的模型可以在比訓練時更細的網格上使用。這些名副其實就是可學習的頻域濾波器。

另一條相關的路線直接在轉換係數上運作。Xu 等人 [16] 把常見有損影像編碼已經算好的區塊離散餘弦轉換(DCT)係數直接餵給網路,並學習要保留哪些頻率通道。他們發現許多高頻通道可以丟掉而幾乎不損失準確率,這與頻率原則一致。

頻譜偏差

Rahaman 等人 [12] 證明深度 ReLU 網路偏好學習低頻函數:高頻成分學得較晚,也較不穩健。搭配 [13] 的綜述,可以得到一個實用的心智模型:網路很擅長目標函數的「貝斯」,但要把「鈸」學好,就需要更多訓練、更多資料或特殊的輸入編碼。這也解釋了為什麼以座標為輸入的網路,除非先把輸入座標映射成正弦形式的傅立葉特徵(Fourier features),否則常常難以表現細緻的紋理 [20]。

混疊在深度網路中捲土重來

步幅卷積與池化都是降取樣,而沒有低通前置濾波的降取樣就會混疊,跟圖 4.1 一模一樣。Zhang [17] 指出,標準 CNN 對一個像素的平移出乎意料地敏感,原因正在於此;而在每次降取樣前插入一個小模糊(也就是教科書裡的抗混疊濾波器),可以改善平移不變性,在他的實驗中也提升了影像分類準確率。Karras 等人 [18] 追查到一個現象:生成影像的細節似乎黏在像素座標上,而不是隨著畫面中的表面移動,其根源是生成器內部的混疊。他們的無混疊(alias-free)設計把特徵圖當作連續訊號的取樣,並在每個非線性運算與重取樣步驟周圍套用精心設計的低通濾波器。

頻率假影就像指紋

生成器需要上取樣,而沒有適當內插濾波器的上取樣,會在頻譜中留下週期性的花紋,很像圖 4.8 中的亮點。Frank 等人 [19] 發現,GAN 生成的影像在頻域中有強烈且一致的假影,並追溯到上取樣操作,據此建立了簡單又準確的偵測器。更廣泛的啟示是:觀察頻譜這個本章最古老的診斷工具,至今仍是看出生成模型哪裡出錯的最快方法之一。

如何判讀這些論文的證據

頻率用語不代表貢獻相同。取樣理論討論訊號模型下能否恢復;頻譜偏差討論最佳化先擬合哪些頻率;傅立葉特徵/層改變表示或混合運算;神經算子則學習函數之間的映射,特別關心離散化與解析度。一種角色的證據不能自動證明另一種角色。

比較頻譜層須檢查 FFT 大小、週期邊界、通道寬度與正規化;FFT 本身不保證全域語意理解。新離散網格也不同於新的物理情況。閱讀頻譜偏差時,需保留架構、資料與最佳化器條件,不能把趨勢當成通用定理。

參考文獻

  1. R. C. Gonzalez and R. E. Woods, Digital Image Processing, 4th ed., Pearson, 2018, Ch. 4. publisher page
  2. C. E. Shannon, “Communication in the presence of noise,” Proceedings of the IRE, vol. 37, no. 1, pp. 10–21, 1949. doi
  3. M. Unser, “Sampling—50 years after Shannon,” Proceedings of the IEEE, vol. 88, no. 4, pp. 569–587, 2000. doi
  4. J. W. Cooley and J. W. Tukey, “An algorithm for the machine calculation of complex Fourier series,” Mathematics of Computation, vol. 19, no. 90, 1965. doi
  5. M. T. Heideman, D. H. Johnson and C. S. Burrus, “Gauss and the history of the fast Fourier transform,” IEEE ASSP Magazine, vol. 1, no. 4, pp. 14–21, 1984. doi
  6. M. Frigo and S. G. Johnson, “The design and implementation of FFTW3,” Proceedings of the IEEE, vol. 93, no. 2, 2005. doi
  7. A. V. Oppenheim and J. S. Lim, “The importance of phase in signals,” Proceedings of the IEEE, vol. 69, no. 5, 1981. doi
  8. A. V. Oppenheim, R. W. Schafer and T. G. Stockham, “Nonlinear filtering of multiplied and convolved signals,” Proceedings of the IEEE, vol. 56, no. 8, pp. 1264–1291, 1968. doi
  9. M. Mathieu, M. Henaff and Y. LeCun, “Fast training of convolutional networks through FFTs,” arXiv:1312.5851, 2013. arXiv
  10. L. Chi, B. Jiang and Y. Mu, “Fast Fourier convolution,” Advances in Neural Information Processing Systems (NeurIPS), vol. 33, 2020. proceedings
  11. Y. Rao, W. Zhao, Z. Zhu, J. Lu and J. Zhou, “Global filter networks for image classification,” NeurIPS, 2021. arXiv
  12. N. Rahaman, A. Baratin, D. Arpit, F. Draxler, M. Lin, F. A. Hamprecht, Y. Bengio and A. Courville, “On the spectral bias of neural networks,” ICML, 2019. arXiv
  13. Z.-Q. J. Xu, Y. Zhang and T. Luo, “Overview frequency principle/spectral bias in deep learning,” arXiv:2201.07395, 2022. arXiv
  14. Z. Li, N. Kovachki, K. Azizzadenesheli, B. Liu, K. Bhattacharya, A. Stuart and A. Anandkumar, “Fourier neural operator for parametric partial differential equations,” arXiv:2010.08895, 2020. arXiv
  15. N. Kovachki, Z. Li, B. Liu, K. Azizzadenesheli, K. Bhattacharya, A. Stuart and A. Anandkumar, “Neural operator: Learning maps between function spaces,” Journal of Machine Learning Research, vol. 24, 2023. arXiv
  16. K. Xu, M. Qin, F. Sun, Y. Wang, Y.-K. Chen and F. Ren, “Learning in the frequency domain,” CVPR, 2020. arXiv
  17. R. Zhang, “Making convolutional networks shift-invariant again,” ICML, 2019. arXiv
  18. T. Karras, M. Aittala, S. Laine, E. Härkönen, J. Hellsten, J. Lehtinen and T. Aila, “Alias-free generative adversarial networks,” arXiv:2106.12423, 2021. arXiv
  19. J. Frank, T. Eisenhofer, L. Schönherr, A. Fischer, D. Kolossa and T. Holz, “Leveraging frequency analysis for deep fake image recognition,” ICML, 2020. arXiv
  20. M. Tancik, P. P. Srinivasan, B. Mildenhall, S. Fridovich-Keil, N. Raghavan, U. Singhal, R. Ramamoorthi, J. T. Barron and R. Ng, “Fourier features let networks learn high frequency functions in low dimensional domains,” arXiv:2006.10739, 2020. arXiv
  21. NumPy developers, “numpy.angle,” NumPy reference documentation, accessed 5 November 2026. API 文件.