現代觀點詳讀
選讀・IP 06・色彩影像處理 的論文導讀(第 1/1 篇)。引用編號對應本頁底部的參考文獻。
導覽:本頁與本系列: 導覽:本頁與本系列
色恆常性、向量濾波、色彩映射與自動上色解決不同問題;先辨識哪部分資訊需要估計。

色彩恆常性:從假設到學習
Gijsenij、Gevers 與 van de Weijer [14] 綜述了計算色彩恆常性,把方法分成三類:採用固定假設的靜態方法(灰色世界、白色區塊、灰色邊緣及上面的 Minkowski 家族)、把觀察到的顏色與標準光源下的顏色集合比較的色域式方法,以及用已知光源影像訓練的學習式方法。他們也提出比較方法的準則,並在公開資料集上評測公開演算法;反覆出現的結論是,沒有任何單一固定假設適用所有場景。之後學習式方法成為主流。Fast Fourier Color Constancy(FFCC)[15] 把光源估計轉成在 log-chroma 直方圖中找峰值,並在頻域中高效求解;它輸出光源的完整機率分布,能在手機上即時執行,讓視訊中的自動白平衡在時間上平順。FC4 [16] 是全卷積網路,每個影像區塊都以學到的信心度替光源投票,所以一面素牆的權重比人臉或白色物體低。Afifi 與 Brown [17] 則在相機已經把影像渲染成非線性 sRGB 之後才校正白平衡,這是對角模型做不到的:他們的網路把影像重新渲染成其他白平衡設定下的樣子。對角模型仍是骨幹,但光源估計與在渲染後空間中的校正,現在都是學出來的。
彩色向量濾波
Lukac 等人 [12] 回顧了把彩色像素當成向量的濾波器:向量中值與向量方向濾波器及其變形、向量邊緣偵測器,以及去馬賽克。他們的結論與本章主題一致:逐分量處理忽略了通道間的相關性,可能產生色彩瑕疵,而向量順序統計量能保留輸入的顏色。在有訓練資料與運算資源時,學習式去雜訊器如今更強,但這些濾波器在講求速度與可預測性的場合仍是標準基準。
色彩對應表設計
Kovesi [7] 為線性、發散、彩虹與循環色彩對應表提出設計方法與測試影像,核心原則只有一個:感知明度必須沿著對應表均勻變化。viridis 系列 [8] 在 Matplotlib 2.0 成為預設。Crameri 等人 [9] 檢視了科學出版中色彩的使用方式,主張非均勻與紅綠色對應表應從軟體預設中消失。深度學習在這裡沒有改變任何事:問題在於人類知覺,答案是在感知色彩空間中量測的細心設計。
以深度學習上色
偽彩色用固定規則把灰階對應到顏色;上色(colorization)則試圖預測真實的顏色。Zhang、Isola 與 Efros [18] 把上色視為對量化色彩的分類問題,並對稀有類別做再平衡,避免鮮豔的顏色被平均成褐色;他們以「上色圖靈測試」評估,請受試者判斷影像是否為真。Anwar 等人 [19] 綜述深度上色方法,將其分為七類,討論損失函數與評估指標,並提出新的基準資料集。DDColor [20](ICCV 2023)使用兩個解碼器,一個恢復空間細節,一個透過與多尺度語意特徵的交叉注意力精修色彩,再加上鼓勵色彩豐富度的損失;這減少了顏色跨越物體邊界的滲色。兩個經典想法始終存在:在 L*a*b* 中運作(預測色度、保留給定的明度),以及把顏色當成一個分布,因為一件灰色襯衫原本可能是任何顏色。
如何判讀這些論文的證據
須區分保留量測色彩、選擇顯示編碼,以及推測缺失色彩。色恆常性估計照明對觀測的影響,向量濾波共同處理色彩通道,色彩映射向觀者表達純量場,上色則從不完整資訊預測合理色彩。一項表現好不能證明其他工作也成立。
比較時要交代色彩空間、轉換函數、白點與觀看假設。平順色彩映射改善判讀,不代表感測量測變準;合理上色也可能不同於原色。色恆常性須看照明誤差與相機切分,濾波則須連同邊緣行為評估。先問哪些資訊來自觀測、哪些來自顯示規範、哪些由先驗提供。
參考文獻
- R. C. Gonzalez and R. E. Woods, Digital Image Processing, 4th ed., Pearson, 2018, Ch. 6. publisher page
- C. Wyman, P.-P. Sloan, and P. Shirley, “Simple Analytic Approximations to the CIE XYZ Color Matching Functions,” Journal of Computer Graphics Techniques, vol. 2, no. 2, 2013. jcgt.org
- IEC 61966-2-1:1999, “Multimedia systems and equipment – Colour measurement and management – Part 2-1: Colour management – Default RGB colour space – sRGB,” IEC, 1999. IEC webstore
- Recommendation ITU-R BT.709-6, “Parameter values for the HDTV standards for production and international programme exchange,” ITU, 2015. ITU
- ISO/CIE 11664-4:2019, “Colorimetry – Part 4: CIE 1976 L*a*b* colour space,” ISO/CIE, 2019. standard page
- Recommendation ITU-R BT.601-7, “Studio encoding parameters of digital television for standard 4:3 and wide screen 16:9 aspect ratios,” ITU, 2011. ITU
- P. Kovesi, “Good Colour Maps: How to Design Them,” arXiv:1509.03700, 2015. arXiv
- S. van der Walt and N. Smith, viridis colormap design notes (BIDS project page; presented at SciPy 2015), 2015. project page
- F. Crameri, G. E. Shephard, and P. J. Heron, “The misuse of colour in science communication,” Nature Communications, vol. 11, art. 5444, 2020. PMC
- G. Buchsbaum, “A spatial processor model for object colour perception,” Journal of the Franklin Institute, vol. 310, no. 1, pp. 1–26, 1980. DOI
- J. van de Weijer, T. Gevers, and A. Gijsenij, “Edge-Based Color Constancy,” IEEE Transactions on Image Processing, vol. 16, no. 9, pp. 2207–2214, 2007. DOI
- R. Lukac, B. Smolka, K. Martin, K. N. Plataniotis, and A. N. Venetsanopoulos, “Vector Filtering for Color Imaging,” IEEE Signal Processing Magazine, vol. 22, no. 1, pp. 74–86, Jan. 2005. PDF
- S. Di Zenzo, “A note on the gradient of a multi-image,” Computer Vision, Graphics, and Image Processing, vol. 33, pp. 116–125, 1986. DOI
- A. Gijsenij, T. Gevers, and J. van de Weijer, “Computational Color Constancy: Survey and Experiments,” IEEE Transactions on Image Processing, vol. 20, no. 9, pp. 2475–2489, 2011. DOI
- J. T. Barron and Y.-T. Tsai, “Fast Fourier Color Constancy,” CVPR, 2017. arXiv
- Y. Hu, B. Wang, and S. Lin, “FC4: Fully Convolutional Color Constancy with Confidence-Weighted Pooling,” CVPR, 2017. paper
- M. Afifi and M. S. Brown, “Deep White-Balance Editing,” CVPR, 2020. arXiv
- R. Zhang, P. Isola, and A. A. Efros, “Colorful Image Colorization,” arXiv:1603.08511, 2016. arXiv
- S. Anwar, M. Tahir, C. Li, A. Mian, F. S. Khan, and A. W. Muzaffar, “Image Colorization: A Survey and Dataset,” arXiv:2008.10774, 2020. arXiv
- X. Kang, T. Yang, W. Ouyang, P. Ren, L. Li, and X. Xie, “DDColor: Towards Photo-Realistic Image Colorization via Dual Decoders,” ICCV, 2023. arXiv