完整搜尋頁面 →

現代觀點的詳細介紹

選讀・IP 03・強度轉換與空間濾波 的論文導讀(第 1/3 篇)。引用編號對應本頁底部的參考文獻。

導覽:本頁與本系列: 導覽:本頁與本系列

先分清要調整對比分布、保留邊緣、學習色彩映射,還是改善低光影像,再選對應文獻。

教材閱讀地圖 — 各卡片對照不同論文回答的問題;這些分類互補,不代表效能排名,也不是轉載其中一篇的架構圖。
教材閱讀地圖 — 各卡片對照不同論文回答的問題;這些分類互補,不代表效能排名,也不是轉載其中一篇的架構圖。

對比增強與直方圖方法

Pizer 等人 [2] 至今仍是自適應直方圖等化的代表性分析:說明區域對應如何運作、AHE 為何在均勻區域過度增強雜訊,以及讓這個方法變得實用的各種變體(包括對比限制與在小塊對應之間做內插)。Zuiderveld 的章節 [3] 是後來各函式庫沿用的精簡 CLAHE 實作,Reza [4] 則展示了同一演算法如何對應到即時硬體。在直方圖規定化方面,Coltuc、Bolon 與 Chassery [5] 說明如何用區域平均嚴格排序像素,以得到完全符合目標的直方圖。若想要更全面的領域地圖,Qi 等人 [11] 綜述了過去二十年的影像增強方法,將其分為監督式與非監督式演算法,並把品質評估列為第三個面向;它的價值在於並排討論各類方法的限制、優點與缺點。

保邊濾波器

方框與高斯濾波器的弱點是會跨越邊緣取平均。Tomasi 與 Manduchi 的雙邊濾波器(bilateral filter)[6] 在空間高斯權重之外,再乘上一個隨強度差異遞減的權重,讓邊緣另一側的像素幾乎沒有貢獻。Paris、Kornprobst、Tumblin 與 Durand 的綜述 [7] 解釋了它的行為、快速實作,以及色調映射、細節增強等應用,在這些應用中影像會被拆成平滑的基底層與細節層。He、Sun 與 Tang 的導引濾波器(guided filter)[8] 假設輸出是導引影像的區域線性函數;它只需要以方框濾波器計算區域平均與變異數,所以計算量與半徑無關,而且在強烈邊緣附近的表現比雙邊濾波器好,後者在細節增強時可能產生梯度反轉(gradient reversal)的瑕疵。Milanfar 的教學文章 [9] 把雙邊、非局部平均(non-local means)等濾波器統一看作資料自適應的加權平均,即卷積核權重取決於影像本身,並用線性代數工具加以分析。Gingichashvili 與 Lischinski [10] 指出眾多保邊濾波器過去大多只靠肉眼比較,並提出系統化的評估方法與共同基準。

深度學習改變了什麼

最有意思的發現是,本章有多少內容在學習式系統內部存活下來。許多成功的增強網路並不直接輸出像素,而是預測某個傳統運算子的參數,再套用它。

學習曲線

Zero-DCE [13](2020)預測逐像素的高階曲線(反覆套用形如 s=r+a r(1−r)s = r + a\, r(1 - r) 的簡單二次式,aa 逐像素預測)來提亮低光影像。它的訓練完全不需要參考影像,而是使用直接評分增強結果的非參考損失函數。這就是 gamma 與對比拉伸的概念,只是曲線由一個小型 CNN 逐像素決定。

學習查找表

Zeng 等人 [14](2020)學習幾張基底 3D 色彩查找表,再用一個極小的 CNN 預測每張影像該如何混合它們,能在高解析度照片上即時執行。這是強度轉換的查找表觀點,從灰階延伸到色彩。

學習式保邊濾波器

Gharbi 等人的 HDRNet [15] 在低解析度的雙邊網格(bilateral grid)中預測區域仿射色彩轉換,再以輸入影像為導引在全解析度套用,等於把雙邊濾波器的保邊能力變成可學習的層。Wu 等人 [16] 則把導引濾波器做成可微分的層,可以在網路中端對端訓練。

低光增強

Li 等人的綜述 [12] 依學習策略、網路結構、損失函數與訓練資料,回顧了深度學習的低光影像與影片增強,並提出一個以多款手機在各種照明下拍攝的低光資料集,以及一個比較方法的線上平台。後續模型如 Retinexformer [17](2023)則結合 Retinex 模型(把影像視為照明乘以反射率)與由照明估計導引的 Transformer 注意力機制。

如何判讀這些論文的證據

先區分轉換能表達什麼,以及用什麼證據擬合。直方圖規則依輸入分布,邊緣感知濾波依空間引導,曲線/查找表限制映射形式,增強網路則可能採成對、未配對或無參考目標。這些選擇決定允許哪些變化、訓練能看見哪些錯誤;單調曲線保留順序,卻不保證自然色彩或恢復飽和細節。

同樣增亮可能伴隨光暈、雜訊或色彩比例改變,全域映射也不能獨立調整每個區域。單張範例不能證明全面優勢。先判斷問題是對比分布、邊緣、色彩映射,還是低光資訊不足,再檢查對應監督與失敗案例。

參考文獻

  1. R. C. Gonzalez and R. E. Woods, Digital Image Processing, 4th ed., Pearson, 2018, Ch. 3. publisher page
  2. S. M. Pizer, E. P. Amburn, J. D. Austin, R. Cromartie, A. Geselowitz, T. Greer, B. ter Haar Romeny, J. B. Zimmerman and K. Zuiderveld, “Adaptive histogram equalization and its variations,” Computer Vision, Graphics, and Image Processing, 1987. doi
  3. K. Zuiderveld, “Contrast limited adaptive histogram equalization,” in P. S. Heckbert (ed.), Graphics Gems IV, Morgan Kaufmann, 1994, pp. 474–485. entry
  4. A. M. Reza, “Realization of the contrast limited adaptive histogram equalization (CLAHE) for real-time image enhancement,” Journal of VLSI Signal Processing, 2004. doi
  5. D. Coltuc, P. Bolon and J.-M. Chassery, “Exact histogram specification,” IEEE Transactions on Image Processing, 2006. doi
  6. C. Tomasi and R. Manduchi, “Bilateral filtering for gray and color images,” in Proc. IEEE International Conference on Computer Vision (ICCV), 1998. pdf
  7. S. Paris, P. Kornprobst, J. Tumblin and F. Durand, “Bilateral filtering: Theory and applications,” Foundations and Trends in Computer Graphics and Vision, vol. 4, no. 1, pp. 1–73, 2009. doi
  8. K. He, J. Sun and X. Tang, “Guided image filtering,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 35(6):1397–1409, 2013 (first presented at ECCV 2010). doi
  9. P. Milanfar, “A tour of modern image filtering,” IEEE Signal Processing Magazine, vol. 30, no. 1, pp. 106–128, 2013. IEEE Xplore
  10. S. Gingichashvili and D. Lischinski, “Evaluation and comparison of edge-preserving filters,” arXiv:2012.13778, 2020. arXiv
  11. Y. Qi, Z. Yang, W. Sun et al., “A comprehensive overview of image enhancement techniques,” Archives of Computational Methods in Engineering, 2021. doi
  12. C. Li, C. Guo, L. Han, J. Jiang, M.-M. Cheng, J. Gu and C. C. Loy, “Low-light image and video enhancement using deep learning: A survey,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021 (arXiv:2104.10729). arXiv
  13. C. Guo, C. Li, J. Guo, C. C. Loy, J. Hou, S. Kwong and R. Cong, “Zero-reference deep curve estimation for low-light image enhancement,” in Proc. IEEE/CVF CVPR, 2020. arXiv
  14. H. Zeng, J. Cai, L. Li, Z. Cao and L. Zhang, “Learning image-adaptive 3D lookup tables for high performance photo enhancement in real-time,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020. arXiv
  15. M. Gharbi, J. Chen, J. T. Barron, S. W. Hasinoff and F. Durand, “Deep bilateral learning for real-time image enhancement,” ACM Transactions on Graphics (SIGGRAPH), 2017. arXiv
  16. H. Wu, S. Zheng, J. Zhang and K. Huang, “Fast end-to-end trainable guided filter,” in Proc. IEEE/CVF CVPR, 2018. arXiv
  17. Y. Cai, H. Bian, J. Lin, H. Wang, R. Timofte and Y. Zhang, “Retinexformer: One-stage Retinex-based transformer for low-light image enhancement,” in Proc. IEEE/CVF ICCV, 2023. arXiv
  18. S. Paris and F. Durand, “A fast approximation of the bilateral filter using a signal processing approach,” International Journal of Computer Vision, vol. 81, no. 1, pp. 24–52, 2009 (first presented at ECCV 2006). doi