完整搜尋頁面 →

Non-Local Means:用相似區塊決定哪些像素可以平均

選讀・IP 05・影像復原與重建 的論文導讀(第 2/3 篇)。引用編號對應本頁底部的參考文獻。

導覽:本頁與本系列: 導覽:本頁與本系列

挑戰

鄰近像素不一定來自相同的底層訊號。較遠處重複的窗戶或條紋,可能比附近邊界另一側的像素更適合協助去雜訊。Non-Local Means(NLM)以區塊相似度尋找這類資訊 [7]。本導讀採用 Buades、Coll 與 Morel 的 IPOL 2011 可重現論文〈Non-Local Means Denoising〉[23],包含雜訊修正與區塊式實作;不能把這些細節直接套稱為所有 CVPR 2005 原方法實作的共同設定。

方法

IPOL 論文並列原始街景、加入雜訊的影像與 Non-Local Means 重建結果。
原論文圖 1 — 由左至右是參考影像、含雜訊輸入、重建。可比較平滑的天空與牆面,以及窗戶邊緣;圖呈現結果,下文的區塊權重與重疊估計則解釋生成結果的機制。

來源:Buades、Coll 與 Morel [23],IPOL 2011,PDF 第 4 頁、圖 1;目前 PDF 標示日期為 2015/06/16。原始 PDF。原始照片依論文署名為 Hervé Bry,CC BY-NC-SA。論文提供結果圖,而非架構圖。

對純量含雜訊影像,逐像素估計與 IPOL 權重為

u^p=∑q∈Spwpquq∑q∈Spwpq,wpq=exp⁡ ⁣[−max⁡(d2(Pp,Pq)−2σ2,0)h2].\widehat u_p=\frac{\sum_{q\in S_p}w_{pq}u_q}{\sum_{q\in S_p}w_{pq}},\qquad w_{pq}=\exp\!\left[-\frac{\max(d^2(P_p,P_q)-2\sigma^2,0)}{h^2}\right].

uqu_q 是候選中心 qq 的含雜訊強度,SpS_p 是目標 pp 周圍的搜尋視窗,Pp,PqP_p,P_q 是同尺寸區塊,d2d^2 是其平均平方差。σ\sigma 是雜訊標準差,hh 控制平均強度。彩色版本的距離也對通道取平均,各輸出通道共用同一組權重。

為何扣除雜訊能量? 在獨立、等變異數的加性雜訊下,兩個含雜訊樣本的預期平方差包含 2σ22\sigma^2。扣除這部分,可避免把全部差異都視為真實訊號不一致。這是統計修正,不代表知道哪些特定像素帶有雜訊。IPOL 實作也把自身權重改為其他候選的最大權重,避免參考像素自動主導平均。

分清比較與聚合。 逐像素 NLM 用區塊選權重,只估計中心;區塊式 NLM 則用同一組權重估計整個參考區塊,再對各輸出像素的重疊預測取平均。兩者都不必訓練資料集層級的模型。「非局部」也不要求搜尋整張影像:論文實作為控制成本,把搜尋限制在較大的局部視窗。

結果

圖 1 是加入 σ=15\sigma=15 雜訊的彩色範例,展示降低可見雜訊、同時保留結構的結果;單一視覺範例並非完整的穩健性基準。表 1 提供可重現參數:灰階 15<σ≤3015<\sigma\leq30 時,使用 5×55\times5 比較區塊、21×2121\times21 搜尋視窗與 h=0.40σh=0.40\sigma。這些設定採用文章的強度尺度;正規化強度時,σ\sigma 與 hh 都必須一起縮放。

消融與實作證據

第 3 節比較逐像素與區塊式形式。作者指出,最終區塊聚合可改善 PSNR 並減少邊緣附近的虛假波動,同時明確說明整體細節保留並未改善。這是實作比較,不是證明區塊愈大愈好的表格。參數表隨雜訊增強而增加區塊與搜尋尺寸;相似度估計是否穩健,以及是否找得到足夠匹配,是不同問題。

結論

NLM 把去雜訊轉為尋找重複局部結構,再平均相容資訊。當自相似性與雜訊假設合理時,它是透明、無須訓練的基準。接著讀 BM3D:同樣先對相似區塊分組,但進一步對整組做轉換與收縮,而不只加權平均。

限制與問題

獨特細節可能沒有適合的匹配,不同相位的重複紋理也可能混淆。強雜訊會污染用來選取資訊的距離;相關雜訊或訊號相依雜訊,則破壞簡單修正的假設。擴大搜尋增加成本,也可能納入誤導候選。區塊聚合重複使用重疊觀測,因此討論不確定性時,不能把這些預測當成獨立樣本。

參考文獻

  1. R. C. Gonzalez and R. E. Woods, Digital Image Processing, 4th ed., Pearson, 2018, Ch. 5. publisher page
  2. H. Hwang and R. A. Haddad, “Adaptive median filters: new algorithms and results,” IEEE Transactions on Image Processing, vol. 4, no. 4, pp. 499–502, 1995. DOI
  3. B. R. Hunt, “The application of constrained least squares estimation to image restoration by digital computer,” IEEE Transactions on Computers, vol. C-22, no. 9, pp. 805–812, 1973. DOI
  4. A. C. Kak and M. Slaney, Principles of Computerized Tomographic Imaging, IEEE Press, 1988 (SIAM reprint 2001). free online edition
  5. L. A. Shepp and B. F. Logan, “The Fourier reconstruction of a head section,” IEEE Transactions on Nuclear Science, vol. 21, no. 3, pp. 21–43, 1974. DOI
  6. scikit-image developers, “Radon transform,” scikit-image documentation (gallery example). docs
  7. A. Buades, B. Coll and J.-M. Morel, “A non-local algorithm for image denoising,” IEEE CVPR, vol. 2, pp. 60–65, 2005. DOI
  8. K. Dabov, A. Foi, V. Katkovnik and K. Egiazarian, “Image denoising by sparse 3-D transform-domain collaborative filtering,” IEEE Transactions on Image Processing, vol. 16, no. 8, pp. 2080–2095, 2007. DOI
  9. K. Zhang, W. Zuo, Y. Chen, D. Meng and L. Zhang, “Beyond a Gaussian denoiser: Residual learning of deep CNN for image denoising,” IEEE Transactions on Image Processing, vol. 26, no. 7, pp. 3142–3155, 2017. doi · arXiv
  10. C. Tian, L. Fei, W. Zheng, Y. Xu, W. Zuo and C.-W. Lin, “Deep learning on image denoising: An overview,” Neural Networks, vol. 131, pp. 251–275, 2020. arXiv
  11. M. Elad, B. Kawar and G. Vaksman, “Image denoising: The deep learning revolution and beyond — A survey paper,” SIAM Journal on Imaging Sciences, vol. 16, no. 3, pp. 1594–1654, 2023. arXiv
  12. K. Zhang, W. Ren, W. Luo, W.-S. Lai, B. Stenger, M.-H. Yang and H. Li, “Deep image deblurring: A survey,” International Journal of Computer Vision, 2022. arXiv
  13. G. Ongie, A. Jalal, C. A. Metzler, R. G. Baraniuk, A. G. Dimakis and R. Willett, “Deep learning techniques for inverse problems in imaging,” arXiv:2005.06001, 2020. arXiv
  14. U. S. Kamilov, C. A. Bouman, G. T. Buzzard and B. Wohlberg, “Plug-and-play methods for integrating physical and learned models in computational imaging: Theory, algorithms, and applications,” IEEE Signal Processing Magazine, vol. 40, no. 1, pp. 85–97, 2023. arXiv
  15. K. Zhang, Y. Li, W. Zuo, L. Zhang, L. Van Gool and R. Timofte, “Plug-and-play image restoration with deep denoiser prior,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 44, no. 10, pp. 6360–6376, 2022. arXiv
  16. K. H. Jin, M. T. McCann, E. Froustey and M. Unser, “Deep convolutional neural network for inverse problems in imaging,” IEEE Transactions on Image Processing, vol. 26, no. 9, pp. 4509–4522, 2017. arXiv
  17. J. Adler and O. Öktem, “Learned primal-dual reconstruction,” IEEE Transactions on Medical Imaging, 2018. arXiv
  18. V. Monga, Y. Li and Y. C. Eldar, “Algorithm unrolling: Interpretable, efficient deep learning for signal and image processing,” arXiv:1912.10557, 2019. arXiv
  19. G. Wang, J. C. Ye and B. De Man, “Deep learning for tomographic image reconstruction,” Nature Machine Intelligence, vol. 2, no. 12, pp. 737–748, 2020. DOI
  20. A. Buades, B. Coll and J.-M. Morel, “A review of image denoising algorithms, with a new one,” Multiscale Modeling & Simulation, vol. 4, no. 2, pp. 490–530, 2005. DOI
  21. L. I. Rudin, S. Osher and E. Fatemi, “Nonlinear total variation based noise removal algorithms,” Physica D: Nonlinear Phenomena, vol. 60, no. 1–4, pp. 259–268, 1992. DOI
  22. A. Chambolle, “An algorithm for total variation minimization and applications,” Journal of Mathematical Imaging and Vision, vol. 20, no. 1–2, pp. 89–97, 2004. DOI
  23. A. Buades, B. Coll and J.-M. Morel, “Non-Local Means Denoising,” Image Processing On Line, vol. 1, pp. 208–212, 2011. DOI · article and implementation