完整搜尋頁面 →

現代觀點詳讀

選讀・IP 06・色彩影像處理 的論文導讀(第 1/1 篇)。引用編號對應本頁底部的參考文獻。

導覽:本頁與本系列: 導覽:本頁與本系列

色恆常性、向量濾波、色彩映射與自動上色解決不同問題;先辨識哪部分資訊需要估計。

教材閱讀地圖 — 各卡片對照不同論文回答的問題;這些分類互補,不代表效能排名,也不是轉載其中一篇的架構圖。
教材閱讀地圖 — 各卡片對照不同論文回答的問題;這些分類互補,不代表效能排名,也不是轉載其中一篇的架構圖。

色彩恆常性:從假設到學習

Gijsenij、Gevers 與 van de Weijer [14] 綜述了計算色彩恆常性,把方法分成三類:採用固定假設的靜態方法(灰色世界、白色區塊、灰色邊緣及上面的 Minkowski 家族)、把觀察到的顏色與標準光源下的顏色集合比較的色域式方法,以及用已知光源影像訓練的學習式方法。他們也提出比較方法的準則,並在公開資料集上評測公開演算法;反覆出現的結論是,沒有任何單一固定假設適用所有場景。之後學習式方法成為主流。Fast Fourier Color Constancy(FFCC)[15] 把光源估計轉成在 log-chroma 直方圖中找峰值,並在頻域中高效求解;它輸出光源的完整機率分布,能在手機上即時執行,讓視訊中的自動白平衡在時間上平順。FC4 [16] 是全卷積網路,每個影像區塊都以學到的信心度替光源投票,所以一面素牆的權重比人臉或白色物體低。Afifi 與 Brown [17] 則在相機已經把影像渲染成非線性 sRGB 之後才校正白平衡,這是對角模型做不到的:他們的網路把影像重新渲染成其他白平衡設定下的樣子。對角模型仍是骨幹,但光源估計與在渲染後空間中的校正,現在都是學出來的。

彩色向量濾波

Lukac 等人 [12] 回顧了把彩色像素當成向量的濾波器:向量中值與向量方向濾波器及其變形、向量邊緣偵測器,以及去馬賽克。他們的結論與本章主題一致:逐分量處理忽略了通道間的相關性,可能產生色彩瑕疵,而向量順序統計量能保留輸入的顏色。在有訓練資料與運算資源時,學習式去雜訊器如今更強,但這些濾波器在講求速度與可預測性的場合仍是標準基準。

色彩對應表設計

Kovesi [7] 為線性、發散、彩虹與循環色彩對應表提出設計方法與測試影像,核心原則只有一個:感知明度必須沿著對應表均勻變化。viridis 系列 [8] 在 Matplotlib 2.0 成為預設。Crameri 等人 [9] 檢視了科學出版中色彩的使用方式,主張非均勻與紅綠色對應表應從軟體預設中消失。深度學習在這裡沒有改變任何事:問題在於人類知覺,答案是在感知色彩空間中量測的細心設計。

以深度學習上色

偽彩色用固定規則把灰階對應到顏色;上色(colorization)則試圖預測真實的顏色。Zhang、Isola 與 Efros [18] 把上色視為對量化色彩的分類問題,並對稀有類別做再平衡,避免鮮豔的顏色被平均成褐色;他們以「上色圖靈測試」評估,請受試者判斷影像是否為真。Anwar 等人 [19] 綜述深度上色方法,將其分為七類,討論損失函數與評估指標,並提出新的基準資料集。DDColor [20](ICCV 2023)使用兩個解碼器,一個恢復空間細節,一個透過與多尺度語意特徵的交叉注意力精修色彩,再加上鼓勵色彩豐富度的損失;這減少了顏色跨越物體邊界的滲色。兩個經典想法始終存在:在 L*a*b* 中運作(預測色度、保留給定的明度),以及把顏色當成一個分布,因為一件灰色襯衫原本可能是任何顏色。

如何判讀這些論文的證據

須區分保留量測色彩、選擇顯示編碼,以及推測缺失色彩。色恆常性估計照明對觀測的影響,向量濾波共同處理色彩通道,色彩映射向觀者表達純量場,上色則從不完整資訊預測合理色彩。一項表現好不能證明其他工作也成立。

比較時要交代色彩空間、轉換函數、白點與觀看假設。平順色彩映射改善判讀,不代表感測量測變準;合理上色也可能不同於原色。色恆常性須看照明誤差與相機切分,濾波則須連同邊緣行為評估。先問哪些資訊來自觀測、哪些來自顯示規範、哪些由先驗提供。

參考文獻

  1. R. C. Gonzalez and R. E. Woods, Digital Image Processing, 4th ed., Pearson, 2018, Ch. 6. publisher page
  2. C. Wyman, P.-P. Sloan, and P. Shirley, “Simple Analytic Approximations to the CIE XYZ Color Matching Functions,” Journal of Computer Graphics Techniques, vol. 2, no. 2, 2013. jcgt.org
  3. IEC 61966-2-1:1999, “Multimedia systems and equipment – Colour measurement and management – Part 2-1: Colour management – Default RGB colour space – sRGB,” IEC, 1999. IEC webstore
  4. Recommendation ITU-R BT.709-6, “Parameter values for the HDTV standards for production and international programme exchange,” ITU, 2015. ITU
  5. ISO/CIE 11664-4:2019, “Colorimetry – Part 4: CIE 1976 L*a*b* colour space,” ISO/CIE, 2019. standard page
  6. Recommendation ITU-R BT.601-7, “Studio encoding parameters of digital television for standard 4:3 and wide screen 16:9 aspect ratios,” ITU, 2011. ITU
  7. P. Kovesi, “Good Colour Maps: How to Design Them,” arXiv:1509.03700, 2015. arXiv
  8. S. van der Walt and N. Smith, viridis colormap design notes (BIDS project page; presented at SciPy 2015), 2015. project page
  9. F. Crameri, G. E. Shephard, and P. J. Heron, “The misuse of colour in science communication,” Nature Communications, vol. 11, art. 5444, 2020. PMC
  10. G. Buchsbaum, “A spatial processor model for object colour perception,” Journal of the Franklin Institute, vol. 310, no. 1, pp. 1–26, 1980. DOI
  11. J. van de Weijer, T. Gevers, and A. Gijsenij, “Edge-Based Color Constancy,” IEEE Transactions on Image Processing, vol. 16, no. 9, pp. 2207–2214, 2007. DOI
  12. R. Lukac, B. Smolka, K. Martin, K. N. Plataniotis, and A. N. Venetsanopoulos, “Vector Filtering for Color Imaging,” IEEE Signal Processing Magazine, vol. 22, no. 1, pp. 74–86, Jan. 2005. PDF
  13. S. Di Zenzo, “A note on the gradient of a multi-image,” Computer Vision, Graphics, and Image Processing, vol. 33, pp. 116–125, 1986. DOI
  14. A. Gijsenij, T. Gevers, and J. van de Weijer, “Computational Color Constancy: Survey and Experiments,” IEEE Transactions on Image Processing, vol. 20, no. 9, pp. 2475–2489, 2011. DOI
  15. J. T. Barron and Y.-T. Tsai, “Fast Fourier Color Constancy,” CVPR, 2017. arXiv
  16. Y. Hu, B. Wang, and S. Lin, “FC4: Fully Convolutional Color Constancy with Confidence-Weighted Pooling,” CVPR, 2017. paper
  17. M. Afifi and M. S. Brown, “Deep White-Balance Editing,” CVPR, 2020. arXiv
  18. R. Zhang, P. Isola, and A. A. Efros, “Colorful Image Colorization,” arXiv:1603.08511, 2016. arXiv
  19. S. Anwar, M. Tahir, C. Li, A. Mian, F. S. Khan, and A. W. Muzaffar, “Image Colorization: A Survey and Dataset,” arXiv:2008.10774, 2020. arXiv
  20. X. Kang, T. Yang, W. Ouyang, P. Ren, L. Li, and X. Xie, “DDColor: Towards Photo-Realistic Image Colorization via Dual Decoders,” ICCV, 2023. arXiv