完整搜尋頁面 →

現代觀點綜述詳讀

選讀・IP 05・影像復原與重建 的論文導讀(第 1/3 篇)。引用編號對應本頁底部的參考文獻。

導覽:本頁與本系列: 導覽:本頁與本系列

依雜訊、模糊、已知算子與先驗需求選擇反問題綜述,並一起檢查資料與評估假設。

教材閱讀地圖 — 各卡片對照不同論文回答的問題;這些分類互補,不代表效能排名,也不是轉載其中一篇的架構圖。
教材閱讀地圖 — 各卡片對照不同論文回答的問題;這些分類互補,不代表效能排名,也不是轉載其中一篇的架構圖。

去雜訊

Tian 等人,〈Deep learning on image denoising: An overview〉(2020)

[10]。把 CNN 去雜訊方法分成四類:加成性白高斯雜訊、真實(相機)雜訊、盲去雜訊(雜訊未知),以及同時含有模糊或低解析度的混合情況。重點(我們的解讀):這個分類本身就是依雜訊類型組織的,真實相機雜訊與未知雜訊強度被列為和合成高斯雜訊不同的類別。本章的雜訊模型以及它有多貼近真實,在深度去雜訊中依然關鍵。

Elad、Kawar 與 Vaksman,〈Image Denoising: The Deep Learning Revolution and Beyond〉(2023)

[11]。回顧從經典先驗到深度去雜訊器的歷史,並主張去雜訊器的意義遠超過去雜訊本身:好的去雜訊器可以當作解其他反問題時的先驗,也是擴散式影像生成的引擎。重點:本章「只有雜訊」的經典問題,已經成為幾乎所有其他問題的基本構件。

去模糊與一般反問題

Zhang 等人,〈Deep Image Deblurring: A Survey〉(IJCV 2022)

[12]。涵蓋模糊成因、資料集與評估指標,再依架構與損失函數整理以 CNN 為基礎的非盲與盲去模糊方法,以及特定領域(人臉、文字、立體影像)。重點:非盲去模糊(如本章,hh 已知)主要在對付我們在逆濾波看到的雜訊放大與振鈴;盲去模糊還得估計 hh,至今仍是比較難的問題。

Ongie 等人,〈Deep Learning Techniques for Inverse Problems in Imaging〉(2020)

[13]。為任何 g=Hf+η\mathbf g = \mathbf{H}\mathbf f + \boldsymbol\eta 問題提出分類:前向模型 H\mathbf H 在訓練時已知、只在測試時已知,還是完全未知?訓練是監督式還是非監督式?重點(我們的解讀):對 H\mathbf H 了解多少,是第一個設計決策,綜述也討論了這些方法的失效模式。像本章這樣已知 H\mathbf H,就能使用純端對端網路忽略掉的選項。

Kamilov、Bouman、Buzzard 與 Wohlberg,〈Plug-and-Play Methods for Integrating Physical and Learned Models in Computational Imaging〉(2023)

[14]。回顧隨插即用(plug-and-play, PnP)先驗:在「滿足物理(g≈Hf\mathbf g \approx \mathbf H \mathbf f)」的步驟與「呼叫去雜訊器(代替先驗)」的步驟之間交替的迭代演算法。重點:前向模型和學習式先驗可以分開開發,執行時再組合。DPIR [15] 是廣泛使用的例子,它把深度 CNN 去雜訊器插入半二次分裂(half-quadratic splitting)演算法,用於去模糊、超解析度與去馬賽克。

CT 重建

後處理:

先做 FBP,再用 CNN 去除偽影。FBPConvNet [16] 正是用 CNN 這樣做,並報告在稀疏視角 CT 上比全變分重建品質更好,而執行時間只需一小部分。

展開式(學習式迭代)重建:

取一個迭代演算法,固定迭代次數,把每次迭代的部分步驟換成小型網路,再端對端訓練。Learned Primal-Dual [17] 展開一個原始-對偶(primal-dual)演算法,並在每次迭代中保留前向投影與反投影。Monga、Li 與 Eldar,〈Algorithm Unrolling〉(2019) [18] 綜述了這種設計模式在訊號與影像處理中的應用。重點:由於每一層都對應演算法的一個步驟,展開式網路比通用網路更容易解讀,也更有效率。

Wang、Ye 與 De Man,〈Deep learning for tomographic image reconstruction〉(2020)

[19] 回顧 CT 及其他斷層成像模態的全貌:影像域、感測器域與混合式網路、融入物理的設計,以及資料取得、穩健性與臨床驗證等開放問題。

如何判讀這些論文的證據

最有用的比較是各方法假設什麼,而非發表年份。去雜訊可按雜訊類型分類,去模糊可按架構、模糊形成分類,反問題可區分明確算子與學習映射,擴散又需分開條件訓練與測試時概似引導。分類軸可以交叉,同一方法落入不同類別不代表綜述矛盾。

逐項記錄推論知道什麼、退化/乾淨影像如何建構。已知模糊核不能證明盲式能力,合成高斯雜訊不代表所有感測器。先用綜述找不同問題表述,再讀原方法與流程;歷史表格把分數並列,不等於共用資料的受控實驗。

參考文獻

  1. R. C. Gonzalez and R. E. Woods, Digital Image Processing, 4th ed., Pearson, 2018, Ch. 5. publisher page
  2. H. Hwang and R. A. Haddad, “Adaptive median filters: new algorithms and results,” IEEE Transactions on Image Processing, vol. 4, no. 4, pp. 499–502, 1995. DOI
  3. B. R. Hunt, “The application of constrained least squares estimation to image restoration by digital computer,” IEEE Transactions on Computers, vol. C-22, no. 9, pp. 805–812, 1973. DOI
  4. A. C. Kak and M. Slaney, Principles of Computerized Tomographic Imaging, IEEE Press, 1988 (SIAM reprint 2001). free online edition
  5. L. A. Shepp and B. F. Logan, “The Fourier reconstruction of a head section,” IEEE Transactions on Nuclear Science, vol. 21, no. 3, pp. 21–43, 1974. DOI
  6. scikit-image developers, “Radon transform,” scikit-image documentation (gallery example). docs
  7. A. Buades, B. Coll and J.-M. Morel, “A non-local algorithm for image denoising,” IEEE CVPR, vol. 2, pp. 60–65, 2005. DOI
  8. K. Dabov, A. Foi, V. Katkovnik and K. Egiazarian, “Image denoising by sparse 3-D transform-domain collaborative filtering,” IEEE Transactions on Image Processing, vol. 16, no. 8, pp. 2080–2095, 2007. DOI
  9. K. Zhang, W. Zuo, Y. Chen, D. Meng and L. Zhang, “Beyond a Gaussian denoiser: Residual learning of deep CNN for image denoising,” IEEE Transactions on Image Processing, vol. 26, no. 7, pp. 3142–3155, 2017. doi · arXiv
  10. C. Tian, L. Fei, W. Zheng, Y. Xu, W. Zuo and C.-W. Lin, “Deep learning on image denoising: An overview,” Neural Networks, vol. 131, pp. 251–275, 2020. arXiv
  11. M. Elad, B. Kawar and G. Vaksman, “Image denoising: The deep learning revolution and beyond — A survey paper,” SIAM Journal on Imaging Sciences, vol. 16, no. 3, pp. 1594–1654, 2023. arXiv
  12. K. Zhang, W. Ren, W. Luo, W.-S. Lai, B. Stenger, M.-H. Yang and H. Li, “Deep image deblurring: A survey,” International Journal of Computer Vision, 2022. arXiv
  13. G. Ongie, A. Jalal, C. A. Metzler, R. G. Baraniuk, A. G. Dimakis and R. Willett, “Deep learning techniques for inverse problems in imaging,” arXiv:2005.06001, 2020. arXiv
  14. U. S. Kamilov, C. A. Bouman, G. T. Buzzard and B. Wohlberg, “Plug-and-play methods for integrating physical and learned models in computational imaging: Theory, algorithms, and applications,” IEEE Signal Processing Magazine, vol. 40, no. 1, pp. 85–97, 2023. arXiv
  15. K. Zhang, Y. Li, W. Zuo, L. Zhang, L. Van Gool and R. Timofte, “Plug-and-play image restoration with deep denoiser prior,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 44, no. 10, pp. 6360–6376, 2022. arXiv
  16. K. H. Jin, M. T. McCann, E. Froustey and M. Unser, “Deep convolutional neural network for inverse problems in imaging,” IEEE Transactions on Image Processing, vol. 26, no. 9, pp. 4509–4522, 2017. arXiv
  17. J. Adler and O. Öktem, “Learned primal-dual reconstruction,” IEEE Transactions on Medical Imaging, 2018. arXiv
  18. V. Monga, Y. Li and Y. C. Eldar, “Algorithm unrolling: Interpretable, efficient deep learning for signal and image processing,” arXiv:1912.10557, 2019. arXiv
  19. G. Wang, J. C. Ye and B. De Man, “Deep learning for tomographic image reconstruction,” Nature Machine Intelligence, vol. 2, no. 12, pp. 737–748, 2020. DOI
  20. A. Buades, B. Coll and J.-M. Morel, “A review of image denoising algorithms, with a new one,” Multiscale Modeling & Simulation, vol. 4, no. 2, pp. 490–530, 2005. DOI
  21. L. I. Rudin, S. Osher and E. Fatemi, “Nonlinear total variation based noise removal algorithms,” Physica D: Nonlinear Phenomena, vol. 60, no. 1–4, pp. 259–268, 1992. DOI
  22. A. Chambolle, “An algorithm for total variation minimization and applications,” Journal of Mathematical Imaging and Vision, vol. 20, no. 1–2, pp. 89–97, 2004. DOI
  23. A. Buades, B. Coll and J.-M. Morel, “Non-Local Means Denoising,” Image Processing On Line, vol. 1, pp. 208–212, 2011. DOI · article and implementation