完整搜尋頁面 →

Guided Filter:擬合局部線性模型,取代逐對相似度計算

選讀・IP 03・強度轉換與空間濾波 的論文導讀(第 3/3 篇)。引用編號對應本頁底部的參考文獻。

導覽:本頁與本系列: 導覽:本頁與本系列

挑戰

He、Sun 與 Tang 的 Guided Image Filtering [8] 提出保邊濾波器,並給出對像素數呈線性時間的精確實作。本導讀以 TPAMI 2013 擴充版為準,方法最早發表於 ECCV 2010。目標不只去雜訊,而是以引導影像控制被濾波訊號的結構。閱讀推導前,先熟悉局部平均、變異數與最小平方法。

方法

雙邊濾波建立相似度權重;引導濾波則擬合係數 a、b,再與引導影像組合。
原論文圖 1 — 先分清輸入 p 與引導 I。引導濾波估計局部係數,對重疊視窗的係數取平均,再由引導影像重建 q;兩個輸入不必是同一張影像。

來源:He、Sun 與 Tang [8],TPAMI 2013 作者版 PDF,第 3 頁、圖 1。原始 PDF。

在視窗 ωk\omega_k 中,假設輸出 qiq_i 對純量引導 IiI_i 呈局部仿射關係:qi=akIi+bkq_i=a_k I_i+b_k。對濾波輸入 pip_i 擬合係數:

min⁡ak,bk∑i∈ωk[(akIi+bk−pi)2+ϵak2],ak=cov⁡ωk(I,p)var⁡ωk(I)+ϵ,bk=p‾k−akI‾k.\min_{a_k,b_k}\sum_{i\in\omega_k}\big[(a_k I_i+b_k-p_i)^2+\epsilon a_k^2\big],\qquad a_k=\frac{\operatorname{cov}_{\omega_k}(I,p)}{\operatorname{var}_{\omega_k}(I)+\epsilon},\quad b_k=\overline p_k-a_k\overline I_k.

ii 是像素索引,kk 是視窗索引,ak,bka_k,b_k 是斜率與偏移,ϵ>0\epsilon>0 懲罰過大的斜率。上橫線代表視窗平均,共變異數與變異數也在同一視窗內計算。對所有重疊預測取平均,得到 qi=a‾iIi+b‾iq_i=\overline a_i I_i+\overline b_i;最後兩個平均涵蓋所有包含像素 ii 的視窗係數。只取其中一個視窗的預測,會得到不同濾波器。

沿圖追蹤兩個輸入。 引導 II 提供結構座標,輸入 pp 提供要近似的訊號。當 I=pI=p 時,斜率等於局部變異數除以變異數加 ϵ\epsilon:平坦區較容易平滑,強烈局部變化則較容易保留。使用另一張引導影像時,可以轉移有用邊緣,也可能轉移不相關紋理。固定引導時,輸出對 pp 呈線性;自引導濾波的係數依賴輸入,因此整體不是線性操作。

演算法 1 以方框濾波計算局部統計量與係數平均。若每個像素的方框總和能以固定成本更新,NN 個像素的總成本便是 O(N)O(N),不會像明確逐對計算那樣隨視窗半徑增加。這是指定演算法的實作性質,不代表每個函式庫或彩色版本都有相同執行時間。

結果

論文展示平滑、細節增強、結構轉移、去背/羽化、去霧與聯合上取樣。它們是濾波器的不同應用,不是同一個修復基準。圖 2 有個重要閱讀陷阱:其中 PSNR 比較的是引導濾波與雙邊濾波的輸出。雙邊結果並非乾淨真值,因此表格衡量的是兩種濾波器的接近程度,不是去雜訊準確度。

消融與分析證據

局部變異數分析解釋 ϵ\epsilon 與視窗大小如何影響平滑。圖 5–6 探討扣除基底層、放大細節殘差時的梯度反轉。論文有區分理想局部模型與最後的重疊視窗平均;應一起讀推導與觀察範例,不能宣稱無條件沒有偽影的定理。高斯視窗版本的比較,則進一步檢查有效濾波核的形狀。

結論

當對齊的引導影像具有有用結構,且目標是有效率的局部濾波時,可考慮此方法。它明確分開「要濾什麼」與「由什麼決定邊緣」。本章補充資料提供更多代數推導;這篇導讀則聚焦論文的演算法與實驗論證。

限制與問題

引導未對齊可能造成邊界位移或重影,引導紋理也可能印到較平滑的目標上;帶雜訊的自引導仍可能保留不需要的變化。正規化參數使用強度平方單位,因此縮放引導數值時,也需要調整 ϵ\epsilon。把濾波器放進去霧或深度上取樣系統,並不會獨立驗證整個應用的物理模型或感測器校正。

參考文獻

  1. R. C. Gonzalez and R. E. Woods, Digital Image Processing, 4th ed., Pearson, 2018, Ch. 3. publisher page
  2. S. M. Pizer, E. P. Amburn, J. D. Austin, R. Cromartie, A. Geselowitz, T. Greer, B. ter Haar Romeny, J. B. Zimmerman and K. Zuiderveld, “Adaptive histogram equalization and its variations,” Computer Vision, Graphics, and Image Processing, 1987. doi
  3. K. Zuiderveld, “Contrast limited adaptive histogram equalization,” in P. S. Heckbert (ed.), Graphics Gems IV, Morgan Kaufmann, 1994, pp. 474–485. entry
  4. A. M. Reza, “Realization of the contrast limited adaptive histogram equalization (CLAHE) for real-time image enhancement,” Journal of VLSI Signal Processing, 2004. doi
  5. D. Coltuc, P. Bolon and J.-M. Chassery, “Exact histogram specification,” IEEE Transactions on Image Processing, 2006. doi
  6. C. Tomasi and R. Manduchi, “Bilateral filtering for gray and color images,” in Proc. IEEE International Conference on Computer Vision (ICCV), 1998. pdf
  7. S. Paris, P. Kornprobst, J. Tumblin and F. Durand, “Bilateral filtering: Theory and applications,” Foundations and Trends in Computer Graphics and Vision, vol. 4, no. 1, pp. 1–73, 2009. doi
  8. K. He, J. Sun and X. Tang, “Guided image filtering,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 35(6):1397–1409, 2013 (first presented at ECCV 2010). doi
  9. P. Milanfar, “A tour of modern image filtering,” IEEE Signal Processing Magazine, vol. 30, no. 1, pp. 106–128, 2013. IEEE Xplore
  10. S. Gingichashvili and D. Lischinski, “Evaluation and comparison of edge-preserving filters,” arXiv:2012.13778, 2020. arXiv
  11. Y. Qi, Z. Yang, W. Sun et al., “A comprehensive overview of image enhancement techniques,” Archives of Computational Methods in Engineering, 2021. doi
  12. C. Li, C. Guo, L. Han, J. Jiang, M.-M. Cheng, J. Gu and C. C. Loy, “Low-light image and video enhancement using deep learning: A survey,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021 (arXiv:2104.10729). arXiv
  13. C. Guo, C. Li, J. Guo, C. C. Loy, J. Hou, S. Kwong and R. Cong, “Zero-reference deep curve estimation for low-light image enhancement,” in Proc. IEEE/CVF CVPR, 2020. arXiv
  14. H. Zeng, J. Cai, L. Li, Z. Cao and L. Zhang, “Learning image-adaptive 3D lookup tables for high performance photo enhancement in real-time,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020. arXiv
  15. M. Gharbi, J. Chen, J. T. Barron, S. W. Hasinoff and F. Durand, “Deep bilateral learning for real-time image enhancement,” ACM Transactions on Graphics (SIGGRAPH), 2017. arXiv
  16. H. Wu, S. Zheng, J. Zhang and K. Huang, “Fast end-to-end trainable guided filter,” in Proc. IEEE/CVF CVPR, 2018. arXiv
  17. Y. Cai, H. Bian, J. Lin, H. Wang, R. Timofte and Y. Zhang, “Retinexformer: One-stage Retinex-based transformer for low-light image enhancement,” in Proc. IEEE/CVF ICCV, 2023. arXiv
  18. S. Paris and F. Durand, “A fast approximation of the bilateral filter using a signal processing approach,” International Journal of Computer Vision, vol. 81, no. 1, pp. 24–52, 2009 (first presented at ECCV 2006). doi