現代觀點的詳細介紹
選讀・IP 03・強度轉換與空間濾波 的論文導讀(第 1/3 篇)。引用編號對應本頁底部的參考文獻。
導覽:本頁與本系列: 導覽:本頁與本系列
先分清要調整對比分布、保留邊緣、學習色彩映射,還是改善低光影像,再選對應文獻。

對比增強與直方圖方法
Pizer 等人 [2] 至今仍是自適應直方圖等化的代表性分析:說明區域對應如何運作、AHE 為何在均勻區域過度增強雜訊,以及讓這個方法變得實用的各種變體(包括對比限制與在小塊對應之間做內插)。Zuiderveld 的章節 [3] 是後來各函式庫沿用的精簡 CLAHE 實作,Reza [4] 則展示了同一演算法如何對應到即時硬體。在直方圖規定化方面,Coltuc、Bolon 與 Chassery [5] 說明如何用區域平均嚴格排序像素,以得到完全符合目標的直方圖。若想要更全面的領域地圖,Qi 等人 [11] 綜述了過去二十年的影像增強方法,將其分為監督式與非監督式演算法,並把品質評估列為第三個面向;它的價值在於並排討論各類方法的限制、優點與缺點。
保邊濾波器
方框與高斯濾波器的弱點是會跨越邊緣取平均。Tomasi 與 Manduchi 的雙邊濾波器(bilateral filter)[6] 在空間高斯權重之外,再乘上一個隨強度差異遞減的權重,讓邊緣另一側的像素幾乎沒有貢獻。Paris、Kornprobst、Tumblin 與 Durand 的綜述 [7] 解釋了它的行為、快速實作,以及色調映射、細節增強等應用,在這些應用中影像會被拆成平滑的基底層與細節層。He、Sun 與 Tang 的導引濾波器(guided filter)[8] 假設輸出是導引影像的區域線性函數;它只需要以方框濾波器計算區域平均與變異數,所以計算量與半徑無關,而且在強烈邊緣附近的表現比雙邊濾波器好,後者在細節增強時可能產生梯度反轉(gradient reversal)的瑕疵。Milanfar 的教學文章 [9] 把雙邊、非局部平均(non-local means)等濾波器統一看作資料自適應的加權平均,即卷積核權重取決於影像本身,並用線性代數工具加以分析。Gingichashvili 與 Lischinski [10] 指出眾多保邊濾波器過去大多只靠肉眼比較,並提出系統化的評估方法與共同基準。
深度學習改變了什麼
最有意思的發現是,本章有多少內容在學習式系統內部存活下來。許多成功的增強網路並不直接輸出像素,而是預測某個傳統運算子的參數,再套用它。
學習曲線
Zero-DCE [13](2020)預測逐像素的高階曲線(反覆套用形如 的簡單二次式, 逐像素預測)來提亮低光影像。它的訓練完全不需要參考影像,而是使用直接評分增強結果的非參考損失函數。這就是 gamma 與對比拉伸的概念,只是曲線由一個小型 CNN 逐像素決定。
學習查找表
Zeng 等人 [14](2020)學習幾張基底 3D 色彩查找表,再用一個極小的 CNN 預測每張影像該如何混合它們,能在高解析度照片上即時執行。這是強度轉換的查找表觀點,從灰階延伸到色彩。
學習式保邊濾波器
Gharbi 等人的 HDRNet [15] 在低解析度的雙邊網格(bilateral grid)中預測區域仿射色彩轉換,再以輸入影像為導引在全解析度套用,等於把雙邊濾波器的保邊能力變成可學習的層。Wu 等人 [16] 則把導引濾波器做成可微分的層,可以在網路中端對端訓練。
低光增強
Li 等人的綜述 [12] 依學習策略、網路結構、損失函數與訓練資料,回顧了深度學習的低光影像與影片增強,並提出一個以多款手機在各種照明下拍攝的低光資料集,以及一個比較方法的線上平台。後續模型如 Retinexformer [17](2023)則結合 Retinex 模型(把影像視為照明乘以反射率)與由照明估計導引的 Transformer 注意力機制。
如何判讀這些論文的證據
先區分轉換能表達什麼,以及用什麼證據擬合。直方圖規則依輸入分布,邊緣感知濾波依空間引導,曲線/查找表限制映射形式,增強網路則可能採成對、未配對或無參考目標。這些選擇決定允許哪些變化、訓練能看見哪些錯誤;單調曲線保留順序,卻不保證自然色彩或恢復飽和細節。
同樣增亮可能伴隨光暈、雜訊或色彩比例改變,全域映射也不能獨立調整每個區域。單張範例不能證明全面優勢。先判斷問題是對比分布、邊緣、色彩映射,還是低光資訊不足,再檢查對應監督與失敗案例。
參考文獻
- R. C. Gonzalez and R. E. Woods, Digital Image Processing, 4th ed., Pearson, 2018, Ch. 3. publisher page
- S. M. Pizer, E. P. Amburn, J. D. Austin, R. Cromartie, A. Geselowitz, T. Greer, B. ter Haar Romeny, J. B. Zimmerman and K. Zuiderveld, “Adaptive histogram equalization and its variations,” Computer Vision, Graphics, and Image Processing, 1987. doi
- K. Zuiderveld, “Contrast limited adaptive histogram equalization,” in P. S. Heckbert (ed.), Graphics Gems IV, Morgan Kaufmann, 1994, pp. 474–485. entry
- A. M. Reza, “Realization of the contrast limited adaptive histogram equalization (CLAHE) for real-time image enhancement,” Journal of VLSI Signal Processing, 2004. doi
- D. Coltuc, P. Bolon and J.-M. Chassery, “Exact histogram specification,” IEEE Transactions on Image Processing, 2006. doi
- C. Tomasi and R. Manduchi, “Bilateral filtering for gray and color images,” in Proc. IEEE International Conference on Computer Vision (ICCV), 1998. pdf
- S. Paris, P. Kornprobst, J. Tumblin and F. Durand, “Bilateral filtering: Theory and applications,” Foundations and Trends in Computer Graphics and Vision, vol. 4, no. 1, pp. 1–73, 2009. doi
- K. He, J. Sun and X. Tang, “Guided image filtering,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 35(6):1397–1409, 2013 (first presented at ECCV 2010). doi
- P. Milanfar, “A tour of modern image filtering,” IEEE Signal Processing Magazine, vol. 30, no. 1, pp. 106–128, 2013. IEEE Xplore
- S. Gingichashvili and D. Lischinski, “Evaluation and comparison of edge-preserving filters,” arXiv:2012.13778, 2020. arXiv
- Y. Qi, Z. Yang, W. Sun et al., “A comprehensive overview of image enhancement techniques,” Archives of Computational Methods in Engineering, 2021. doi
- C. Li, C. Guo, L. Han, J. Jiang, M.-M. Cheng, J. Gu and C. C. Loy, “Low-light image and video enhancement using deep learning: A survey,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021 (arXiv:2104.10729). arXiv
- C. Guo, C. Li, J. Guo, C. C. Loy, J. Hou, S. Kwong and R. Cong, “Zero-reference deep curve estimation for low-light image enhancement,” in Proc. IEEE/CVF CVPR, 2020. arXiv
- H. Zeng, J. Cai, L. Li, Z. Cao and L. Zhang, “Learning image-adaptive 3D lookup tables for high performance photo enhancement in real-time,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020. arXiv
- M. Gharbi, J. Chen, J. T. Barron, S. W. Hasinoff and F. Durand, “Deep bilateral learning for real-time image enhancement,” ACM Transactions on Graphics (SIGGRAPH), 2017. arXiv
- H. Wu, S. Zheng, J. Zhang and K. Huang, “Fast end-to-end trainable guided filter,” in Proc. IEEE/CVF CVPR, 2018. arXiv
- Y. Cai, H. Bian, J. Lin, H. Wang, R. Timofte and Y. Zhang, “Retinexformer: One-stage Retinex-based transformer for low-light image enhancement,” in Proc. IEEE/CVF ICCV, 2023. arXiv
- S. Paris and F. Durand, “A fast approximation of the bilateral filter using a signal processing approach,” International Journal of Computer Vision, vol. 81, no. 1, pp. 24–52, 2009 (first presented at ECCV 2006). doi