深度學習中的傅立葉概念詳解
選讀・IP 04・頻域濾波 的論文導讀(第 1/1 篇)。引用編號對應本頁底部的參考文獻。
導覽:本頁與本系列: 導覽:本頁與本系列
先區分頻率分析的角色:取樣可恢復性、訓練頻譜偏差、頻譜運算層,或函數之間的算子學習。

值得一讀的綜述與回顧
Unser,〈Sampling — 50 years after Shannon〉[3]
回顧取樣理論從 Shannon 的帶限模型,一路發展到現代的樣條與平移不變空間(shift-invariant space)表述。重點:理想的 sinc 內插只是數學上的理想化;實際系統使用緊湊的核心搭配相應的前置濾波器,而其近似誤差可以在傅立葉域中精確分析。這是從本章的取樣定理通往實際重取樣程式碼的最佳橋樑。
Xu、Zhang 與 Luo,〈Overview frequency principle/spectral bias in deep learning〉[13]
一篇關於頻率原則(frequency principle)的綜述:以梯度下降訓練的神經網路,傾向先擬合目標的低頻成分、之後才擬合高頻成分。文中整理了這個現象背後的理論與實驗,以及它在演算法設計上的應用。重點:神經網路在訓練過程中有點像一個慢慢打開的低通濾波器。
Kovachki 等人,〈Neural Operator: Learning Maps Between Function Spaces〉[15]
一篇完整而深入的神經算子(neural operator)專論。神經算子學習的是函數之間的映射,而不是固定大小陣列之間的映射,傅立葉神經算子是其四種主要參數化方式之一。重點:用頻率響應來參數化一層網路,可以讓它在很大程度上不受網格解析度影響,這正是本章「濾波 = 在頻域中相乘」想法的直系後代。
傅立葉轉換作為快速卷積引擎
卷積定理保證大型卷積可以變成便宜的乘法。Mathieu、Henaff 與 LeCun [9] 把這一點用在卷積神經網路上:他們在 GPU 上把卷積算成 FFT 之間的逐點乘積,並重複使用每個轉換過的特徵圖,回報了大幅的訓練加速。如今多數 CNN 使用 3×3 的小卷積核,此時直接做空間卷積通常較快,所以 FFT 卷積主要用於大型卷積核。正文「空間濾波器與頻域濾波器的對應」一節的推論在這裡完全適用。
具有全域感受野的傅立葉層
頻域中的逐點乘積會影響每一個像素,所以單一個傅立葉層就擁有整張影像的感受野(receptive field)。好幾種架構利用了這一點。Fast Fourier Convolution [10] 加入一個全域分支,直接在影像層級的頻譜上運算,把全域資訊混入每一層。Global Filter Networks [11] 把視覺 Transformer 的自注意力換成正是本章的步驟:二維 FFT、與一個可學習的全域濾波器逐元素相乘、再做反 FFT,成本對 token 數量為對數線性。Fourier Neural Operator [14] 在截斷後的一組低頻上使用可學習的濾波器來解偏微分方程;由於權重存在於頻率空間中,訓練好的模型可以在比訓練時更細的網格上使用。這些名副其實就是可學習的頻域濾波器。
另一條相關的路線直接在轉換係數上運作。Xu 等人 [16] 把常見有損影像編碼已經算好的區塊離散餘弦轉換(DCT)係數直接餵給網路,並學習要保留哪些頻率通道。他們發現許多高頻通道可以丟掉而幾乎不損失準確率,這與頻率原則一致。
頻譜偏差
Rahaman 等人 [12] 證明深度 ReLU 網路偏好學習低頻函數:高頻成分學得較晚,也較不穩健。搭配 [13] 的綜述,可以得到一個實用的心智模型:網路很擅長目標函數的「貝斯」,但要把「鈸」學好,就需要更多訓練、更多資料或特殊的輸入編碼。這也解釋了為什麼以座標為輸入的網路,除非先把輸入座標映射成正弦形式的傅立葉特徵(Fourier features),否則常常難以表現細緻的紋理 [20]。
混疊在深度網路中捲土重來
步幅卷積與池化都是降取樣,而沒有低通前置濾波的降取樣就會混疊,跟圖 4.1 一模一樣。Zhang [17] 指出,標準 CNN 對一個像素的平移出乎意料地敏感,原因正在於此;而在每次降取樣前插入一個小模糊(也就是教科書裡的抗混疊濾波器),可以改善平移不變性,在他的實驗中也提升了影像分類準確率。Karras 等人 [18] 追查到一個現象:生成影像的細節似乎黏在像素座標上,而不是隨著畫面中的表面移動,其根源是生成器內部的混疊。他們的無混疊(alias-free)設計把特徵圖當作連續訊號的取樣,並在每個非線性運算與重取樣步驟周圍套用精心設計的低通濾波器。
頻率假影就像指紋
生成器需要上取樣,而沒有適當內插濾波器的上取樣,會在頻譜中留下週期性的花紋,很像圖 4.8 中的亮點。Frank 等人 [19] 發現,GAN 生成的影像在頻域中有強烈且一致的假影,並追溯到上取樣操作,據此建立了簡單又準確的偵測器。更廣泛的啟示是:觀察頻譜這個本章最古老的診斷工具,至今仍是看出生成模型哪裡出錯的最快方法之一。
如何判讀這些論文的證據
頻率用語不代表貢獻相同。取樣理論討論訊號模型下能否恢復;頻譜偏差討論最佳化先擬合哪些頻率;傅立葉特徵/層改變表示或混合運算;神經算子則學習函數之間的映射,特別關心離散化與解析度。一種角色的證據不能自動證明另一種角色。
比較頻譜層須檢查 FFT 大小、週期邊界、通道寬度與正規化;FFT 本身不保證全域語意理解。新離散網格也不同於新的物理情況。閱讀頻譜偏差時,需保留架構、資料與最佳化器條件,不能把趨勢當成通用定理。
參考文獻
- R. C. Gonzalez and R. E. Woods, Digital Image Processing, 4th ed., Pearson, 2018, Ch. 4. publisher page
- C. E. Shannon, “Communication in the presence of noise,” Proceedings of the IRE, vol. 37, no. 1, pp. 10–21, 1949. doi
- M. Unser, “Sampling—50 years after Shannon,” Proceedings of the IEEE, vol. 88, no. 4, pp. 569–587, 2000. doi
- J. W. Cooley and J. W. Tukey, “An algorithm for the machine calculation of complex Fourier series,” Mathematics of Computation, vol. 19, no. 90, 1965. doi
- M. T. Heideman, D. H. Johnson and C. S. Burrus, “Gauss and the history of the fast Fourier transform,” IEEE ASSP Magazine, vol. 1, no. 4, pp. 14–21, 1984. doi
- M. Frigo and S. G. Johnson, “The design and implementation of FFTW3,” Proceedings of the IEEE, vol. 93, no. 2, 2005. doi
- A. V. Oppenheim and J. S. Lim, “The importance of phase in signals,” Proceedings of the IEEE, vol. 69, no. 5, 1981. doi
- A. V. Oppenheim, R. W. Schafer and T. G. Stockham, “Nonlinear filtering of multiplied and convolved signals,” Proceedings of the IEEE, vol. 56, no. 8, pp. 1264–1291, 1968. doi
- M. Mathieu, M. Henaff and Y. LeCun, “Fast training of convolutional networks through FFTs,” arXiv:1312.5851, 2013. arXiv
- L. Chi, B. Jiang and Y. Mu, “Fast Fourier convolution,” Advances in Neural Information Processing Systems (NeurIPS), vol. 33, 2020. proceedings
- Y. Rao, W. Zhao, Z. Zhu, J. Lu and J. Zhou, “Global filter networks for image classification,” NeurIPS, 2021. arXiv
- N. Rahaman, A. Baratin, D. Arpit, F. Draxler, M. Lin, F. A. Hamprecht, Y. Bengio and A. Courville, “On the spectral bias of neural networks,” ICML, 2019. arXiv
- Z.-Q. J. Xu, Y. Zhang and T. Luo, “Overview frequency principle/spectral bias in deep learning,” arXiv:2201.07395, 2022. arXiv
- Z. Li, N. Kovachki, K. Azizzadenesheli, B. Liu, K. Bhattacharya, A. Stuart and A. Anandkumar, “Fourier neural operator for parametric partial differential equations,” arXiv:2010.08895, 2020. arXiv
- N. Kovachki, Z. Li, B. Liu, K. Azizzadenesheli, K. Bhattacharya, A. Stuart and A. Anandkumar, “Neural operator: Learning maps between function spaces,” Journal of Machine Learning Research, vol. 24, 2023. arXiv
- K. Xu, M. Qin, F. Sun, Y. Wang, Y.-K. Chen and F. Ren, “Learning in the frequency domain,” CVPR, 2020. arXiv
- R. Zhang, “Making convolutional networks shift-invariant again,” ICML, 2019. arXiv
- T. Karras, M. Aittala, S. Laine, E. Härkönen, J. Hellsten, J. Lehtinen and T. Aila, “Alias-free generative adversarial networks,” arXiv:2106.12423, 2021. arXiv
- J. Frank, T. Eisenhofer, L. Schönherr, A. Fischer, D. Kolossa and T. Holz, “Leveraging frequency analysis for deep fake image recognition,” ICML, 2020. arXiv
- M. Tancik, P. P. Srinivasan, B. Mildenhall, S. Fridovich-Keil, N. Raghavan, U. Singhal, R. Ramamoorthi, J. T. Barron and R. Ng, “Fourier features let networks learn high frequency functions in low dimensional domains,” arXiv:2006.10739, 2020. arXiv
- NumPy developers, “numpy.angle,” NumPy reference documentation, accessed 5 November 2026. API 文件.