完整搜尋頁面 →

各篇回顧的詳細介紹

選讀・IP 02・數位影像基礎 的論文導讀(第 1/1 篇)。引用編號對應本頁底部的參考文獻。

導覽:本頁與本系列: 導覽:本頁與本系列

先按問題選讀:取樣與插值、學習式超解析度、感知品質,或相機成像流程。

教材閱讀地圖 — 各卡片對照不同論文回答的問題;這些分類互補,不代表效能排名,也不是轉載其中一篇的架構圖。
教材閱讀地圖 — 各卡片對照不同論文回答的問題;這些分類互補,不代表效能排名,也不是轉載其中一篇的架構圖。

取樣與內插理論

Unser 的〈Sampling—50 years after Shannon〉[2] 把取樣重新定位為在平移不變空間中的逼近:不再要求訊號完美頻寬有限、也不再要求理想的 sinc 重建器,而是選擇一個實用的基底(例如 B-spline)並投影上去。它的主要結論是:取樣前的良好前置濾波與取樣後的良好重建核,比精確的取樣率更重要。Thévenaz、Blu 與 Unser [4] 把這套觀點用在影像內插上,在相同條件下比較許多核。他們指出,逼近階數與核的支撐範圍可以解釋大部分差異,而且以 B-spline 為基礎的內插(搭配適當的前置濾波)比 Keys 的三次卷積 [3] 有更好的品質與成本取捨。任何要實作影像縮放的人,這兩篇仍是參考基準。

學習式超解析度

Wang、Chen 與 Hoi [9] 整理了截至約 2019 年的深度超解析度:網路設計、放在前段或後段的上取樣層、損失函數與基準測試。Moser 等人 [10] 把圖像延伸到 transformer 與擴散模型(diffusion models),並強調尚未解決的問題,例如彈性的放大倍率與更好的評估方式。有兩篇工作展示了古典概念如何在網路中延續。LIIF [11] 把影像表示成可在任意座標查詢的連續函數——一個可以任意倍率放大(包括訓練時沒見過的倍率)的學習式內插器。Real-ESRGAN [12] 處理的是「大多數訓練資料對用雙三次縮小產生」與「真實世界退化」之間的落差,做法是以高階退化模型合成訓練資料,將模糊、雜訊、縮放與壓縮重複施加多次。本章的教訓是:雙三次內插既是每個方法都要比較的基準,也透過它在產生訓練資料中的角色,成了一個可能讓模型在真實影像上失效的隱藏假設。

知覺與影像品質

Wang 等人的 SSIM [13] 把感知一節的觀察——對結構與相對變化敏感,而非絕對誤差——轉成一個全參考品質指標,比較局部的亮度、對比與結構。Zhai 與 Min [14] 綜述了整個感知品質評估領域:全參考、部分參考與無參考方法,以及針對特殊內容的模型。深度特徵大幅改變了這個領域。Zhang 等人 [15] 收集了人類的相似度判斷,發現深度網路特徵之間的距離(LPIPS)在該研究收集的人類判斷測試中,較所比較的傳統指標更吻合,並涵蓋測試的架構、訓練方式;不能直接外推到所有影像分布。Ding 等人 [16] 接著提出更尖銳的問題:如果拿每個品質指標當損失函數來最佳化影像處理網路,哪個指標產生的結果最受人喜愛?他們的主觀實驗顯示,在標準品質資料集上的排名,並不能可靠預測一個指標作為訓練目標時是否好用。簡單說,馬赫帶與 Weber 比如今活在損失函數裡。

相機感測器管線

Ramanath 等人 [8] 描述了位於本章感測器陣列與你存下的壓縮檔之間的傳統機內管線:去馬賽克、白平衡、色彩轉換、gamma 與壓縮,每一級都是固定的人工設計。Delbracio 等人 [7] 回顧了行動計算攝影在二十年間如何重塑這條管線:連拍擷取、對齊與合併(也就是大規模的「平均含雜訊影像」)、多張畫面的超解析度。如今已有學習式方法取代其中一部分甚至全部。Chen 等人 [17] 訓練網路,在極低光源下把原始短曝光感測器資料直接轉成乾淨影像,繞過傳統管線。Ignatov 等人 [18] 則用單一網路(PyNET)取代整個手機影像訊號處理器(ISP),把原始馬賽克感測器資料轉成近似單眼相機拍出的影像。

如何判讀這些論文的證據

這些文獻回答不同問題:取樣理論說明連續訊號模型與重建基底,學習式超解析度加入資料先驗,品質文獻評估輸出,相機流程則解釋觀測如何產生。它們彼此互補,不是同一工作上的演算法排名。比較插值時,必須固定降取樣濾波、邊界與輸出座標。

實驗還要區分參考影像誤差、感知判斷與下游分數。模型可能靠推測細節變銳利,感測器域方法則可能使用成品 RGB 沒有的資訊。先寫清楚成像假設,再選擇符合問題的重建方法與指標。

參考文獻

  1. R. C. Gonzalez and R. E. Woods, Digital Image Processing, 4th ed., Pearson, 2018, Ch. 2. publisher page
  2. M. Unser, “Sampling—50 years after Shannon,” Proceedings of the IEEE, vol. 88, no. 4, pp. 569–587, 2000. doi
  3. R. Keys, “Cubic convolution interpolation for digital image processing,” IEEE Transactions on Acoustics, Speech, and Signal Processing, vol. 29, no. 6, pp. 1153–1160, 1981. doi
  4. P. Thévenaz, T. Blu, and M. Unser, “Interpolation revisited,” IEEE Transactions on Medical Imaging, vol. 19, no. 7, pp. 739–758, 2000. doi
  5. A. Rosenfeld and J. L. Pfaltz, “Distance functions on digital pictures,” Pattern Recognition, vol. 1, pp. 33–61, 1968. doi
  6. B. Zitová and J. Flusser, “Image registration methods: a survey,” Image and Vision Computing, vol. 21, no. 11, pp. 977–1000, 2003. doi
  7. M. Delbracio, D. Kelly, M. S. Brown, and P. Milanfar, “Mobile computational photography: A tour,” arXiv:2102.09000, 2021. arXiv
  8. R. Ramanath, W. E. Snyder, Y. Yoo, and M. S. Drew, “Color image processing pipeline,” IEEE Signal Processing Magazine, vol. 22, no. 1, pp. 34–43, 2005. doi
  9. Z. Wang, J. Chen, and S. C. H. Hoi, “Deep learning for image super-resolution: A survey,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020. arXiv
  10. B. Moser, F. Raue, S. Frolov, J. Hees, S. Palacio, and A. Dengel, “Hitchhiker’s guide to super-resolution: Introduction and recent advances,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023. arXiv
  11. Y. Chen, S. Liu, and X. Wang, “Learning continuous image representation with local implicit image function,” CVPR, 2021. arXiv
  12. X. Wang, L. Xie, C. Dong, and Y. Shan, “Real-ESRGAN: Training real-world blind super-resolution with pure synthetic data,” arXiv:2107.10833, 2021. arXiv
  13. Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli, “Image quality assessment: From error visibility to structural similarity,” IEEE Transactions on Image Processing, vol. 13, no. 4, pp. 600–612, 2004. project page
  14. G. Zhai and X. Min, “Perceptual image quality assessment: A survey,” Science China Information Sciences, vol. 63, no. 11, 2020. doi
  15. R. Zhang, P. Isola, A. A. Efros, E. Shechtman, and O. Wang, “The unreasonable effectiveness of deep features as a perceptual metric,” CVPR, 2018. arXiv
  16. K. Ding, K. Ma, S. Wang, and E. P. Simoncelli, “Comparison of full-reference image quality models for optimization of image processing systems,” International Journal of Computer Vision, 2021. arXiv
  17. C. Chen, Q. Chen, J. Xu, and V. Koltun, “Learning to see in the dark,” CVPR, 2018. arXiv
  18. A. Ignatov, L. Van Gool, and R. Timofte, “Replacing mobile camera ISP with a single deep learning model,” arXiv:2002.05509, 2020. arXiv
  19. Q. Huynh-Thu and M. Ghanbari, “Scope of validity of PSNR in image/video quality assessment,” Electronics Letters, vol. 44, no. 13, pp. 800–801, 2008. doi
  20. R. Hartley and A. Zisserman, Multiple View Geometry in Computer Vision, 2nd ed., Cambridge University Press, 2004. doi
  21. scikit-image contributors, “ProjectiveTransform.estimate,” scikit-image 0.25.2 documentation, accessed 5 November 2026. API 文件.