各篇回顧的詳細介紹
選讀・IP 02・數位影像基礎 的論文導讀(第 1/1 篇)。引用編號對應本頁底部的參考文獻。
導覽:本頁與本系列: 導覽:本頁與本系列
先按問題選讀:取樣與插值、學習式超解析度、感知品質,或相機成像流程。

取樣與內插理論
Unser 的〈Sampling—50 years after Shannon〉[2] 把取樣重新定位為在平移不變空間中的逼近:不再要求訊號完美頻寬有限、也不再要求理想的 sinc 重建器,而是選擇一個實用的基底(例如 B-spline)並投影上去。它的主要結論是:取樣前的良好前置濾波與取樣後的良好重建核,比精確的取樣率更重要。Thévenaz、Blu 與 Unser [4] 把這套觀點用在影像內插上,在相同條件下比較許多核。他們指出,逼近階數與核的支撐範圍可以解釋大部分差異,而且以 B-spline 為基礎的內插(搭配適當的前置濾波)比 Keys 的三次卷積 [3] 有更好的品質與成本取捨。任何要實作影像縮放的人,這兩篇仍是參考基準。
學習式超解析度
Wang、Chen 與 Hoi [9] 整理了截至約 2019 年的深度超解析度:網路設計、放在前段或後段的上取樣層、損失函數與基準測試。Moser 等人 [10] 把圖像延伸到 transformer 與擴散模型(diffusion models),並強調尚未解決的問題,例如彈性的放大倍率與更好的評估方式。有兩篇工作展示了古典概念如何在網路中延續。LIIF [11] 把影像表示成可在任意座標查詢的連續函數——一個可以任意倍率放大(包括訓練時沒見過的倍率)的學習式內插器。Real-ESRGAN [12] 處理的是「大多數訓練資料對用雙三次縮小產生」與「真實世界退化」之間的落差,做法是以高階退化模型合成訓練資料,將模糊、雜訊、縮放與壓縮重複施加多次。本章的教訓是:雙三次內插既是每個方法都要比較的基準,也透過它在產生訓練資料中的角色,成了一個可能讓模型在真實影像上失效的隱藏假設。
知覺與影像品質
Wang 等人的 SSIM [13] 把感知一節的觀察——對結構與相對變化敏感,而非絕對誤差——轉成一個全參考品質指標,比較局部的亮度、對比與結構。Zhai 與 Min [14] 綜述了整個感知品質評估領域:全參考、部分參考與無參考方法,以及針對特殊內容的模型。深度特徵大幅改變了這個領域。Zhang 等人 [15] 收集了人類的相似度判斷,發現深度網路特徵之間的距離(LPIPS)在該研究收集的人類判斷測試中,較所比較的傳統指標更吻合,並涵蓋測試的架構、訓練方式;不能直接外推到所有影像分布。Ding 等人 [16] 接著提出更尖銳的問題:如果拿每個品質指標當損失函數來最佳化影像處理網路,哪個指標產生的結果最受人喜愛?他們的主觀實驗顯示,在標準品質資料集上的排名,並不能可靠預測一個指標作為訓練目標時是否好用。簡單說,馬赫帶與 Weber 比如今活在損失函數裡。
相機感測器管線
Ramanath 等人 [8] 描述了位於本章感測器陣列與你存下的壓縮檔之間的傳統機內管線:去馬賽克、白平衡、色彩轉換、gamma 與壓縮,每一級都是固定的人工設計。Delbracio 等人 [7] 回顧了行動計算攝影在二十年間如何重塑這條管線:連拍擷取、對齊與合併(也就是大規模的「平均含雜訊影像」)、多張畫面的超解析度。如今已有學習式方法取代其中一部分甚至全部。Chen 等人 [17] 訓練網路,在極低光源下把原始短曝光感測器資料直接轉成乾淨影像,繞過傳統管線。Ignatov 等人 [18] 則用單一網路(PyNET)取代整個手機影像訊號處理器(ISP),把原始馬賽克感測器資料轉成近似單眼相機拍出的影像。
如何判讀這些論文的證據
這些文獻回答不同問題:取樣理論說明連續訊號模型與重建基底,學習式超解析度加入資料先驗,品質文獻評估輸出,相機流程則解釋觀測如何產生。它們彼此互補,不是同一工作上的演算法排名。比較插值時,必須固定降取樣濾波、邊界與輸出座標。
實驗還要區分參考影像誤差、感知判斷與下游分數。模型可能靠推測細節變銳利,感測器域方法則可能使用成品 RGB 沒有的資訊。先寫清楚成像假設,再選擇符合問題的重建方法與指標。
參考文獻
- R. C. Gonzalez and R. E. Woods, Digital Image Processing, 4th ed., Pearson, 2018, Ch. 2. publisher page
- M. Unser, “Sampling—50 years after Shannon,” Proceedings of the IEEE, vol. 88, no. 4, pp. 569–587, 2000. doi
- R. Keys, “Cubic convolution interpolation for digital image processing,” IEEE Transactions on Acoustics, Speech, and Signal Processing, vol. 29, no. 6, pp. 1153–1160, 1981. doi
- P. Thévenaz, T. Blu, and M. Unser, “Interpolation revisited,” IEEE Transactions on Medical Imaging, vol. 19, no. 7, pp. 739–758, 2000. doi
- A. Rosenfeld and J. L. Pfaltz, “Distance functions on digital pictures,” Pattern Recognition, vol. 1, pp. 33–61, 1968. doi
- B. Zitová and J. Flusser, “Image registration methods: a survey,” Image and Vision Computing, vol. 21, no. 11, pp. 977–1000, 2003. doi
- M. Delbracio, D. Kelly, M. S. Brown, and P. Milanfar, “Mobile computational photography: A tour,” arXiv:2102.09000, 2021. arXiv
- R. Ramanath, W. E. Snyder, Y. Yoo, and M. S. Drew, “Color image processing pipeline,” IEEE Signal Processing Magazine, vol. 22, no. 1, pp. 34–43, 2005. doi
- Z. Wang, J. Chen, and S. C. H. Hoi, “Deep learning for image super-resolution: A survey,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020. arXiv
- B. Moser, F. Raue, S. Frolov, J. Hees, S. Palacio, and A. Dengel, “Hitchhiker’s guide to super-resolution: Introduction and recent advances,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023. arXiv
- Y. Chen, S. Liu, and X. Wang, “Learning continuous image representation with local implicit image function,” CVPR, 2021. arXiv
- X. Wang, L. Xie, C. Dong, and Y. Shan, “Real-ESRGAN: Training real-world blind super-resolution with pure synthetic data,” arXiv:2107.10833, 2021. arXiv
- Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli, “Image quality assessment: From error visibility to structural similarity,” IEEE Transactions on Image Processing, vol. 13, no. 4, pp. 600–612, 2004. project page
- G. Zhai and X. Min, “Perceptual image quality assessment: A survey,” Science China Information Sciences, vol. 63, no. 11, 2020. doi
- R. Zhang, P. Isola, A. A. Efros, E. Shechtman, and O. Wang, “The unreasonable effectiveness of deep features as a perceptual metric,” CVPR, 2018. arXiv
- K. Ding, K. Ma, S. Wang, and E. P. Simoncelli, “Comparison of full-reference image quality models for optimization of image processing systems,” International Journal of Computer Vision, 2021. arXiv
- C. Chen, Q. Chen, J. Xu, and V. Koltun, “Learning to see in the dark,” CVPR, 2018. arXiv
- A. Ignatov, L. Van Gool, and R. Timofte, “Replacing mobile camera ISP with a single deep learning model,” arXiv:2002.05509, 2020. arXiv
- Q. Huynh-Thu and M. Ghanbari, “Scope of validity of PSNR in image/video quality assessment,” Electronics Letters, vol. 44, no. 13, pp. 800–801, 2008. doi
- R. Hartley and A. Zisserman, Multiple View Geometry in Computer Vision, 2nd ed., Cambridge University Press, 2004. doi
- scikit-image contributors, “ProjectiveTransform.estimate,” scikit-image 0.25.2 documentation, accessed 5 November 2026. API 文件.