完整搜尋頁面 →

BM3D:把相似區塊分組,協同去除雜訊

選讀・IP 05・影像復原與重建 的論文導讀(第 3/3 篇)。引用編號對應本頁底部的參考文獻。

導覽:本頁與本系列: 導覽:本頁與本系列

挑戰

單一小區塊可能很難去雜訊,多個相似區塊卻可能具有精簡的共同表徵。Dabov 等人的 TIP 2007 論文 [8] 把這個觀察變成演算法:匹配區塊分組、共同轉換、在轉換域抑制雜訊,再聚合重疊估計。「3D」是二維影像區塊的堆疊,不要求輸入是體積影像。可先讀 NLM,理解遠處區塊為何能提供有效資訊。

方法

BM3D 第一階段產生基礎估計;第二階段用它分組並估計 Wiener 增益,但仍濾波原始含雜訊影像的區塊。
原論文圖 3 — 留意進入第二步的兩個輸入:基礎估計引導匹配與 Wiener 權重,原始含雜訊影像仍提供被濾波的係數;兩階段都把重疊區塊估計放回原位置。

來源:Dabov 等人 [8],TIP 2007 接受後作者稿,PDF 第 5 頁、圖 3。原始 PDF。

第一階段:建立可用估計。 對每個參考區塊,在搜尋區域找到相似區塊並堆成群組 YY。可分離轉換 TT 分別作用於區塊內與群組維度,對係數做閾值處理,再反轉換:

Y^=T−1 ⁣(Hλσ(TY)).\widehat Y=T^{-1}\!\left(\mathcal H_{\lambda\sigma}(TY)\right).

YY 是含雜訊區塊群組,Y^\widehat Y 是濾波後估計,TT 是三維轉換,σ\sigma 是假設的高斯雜訊標準差,λ\lambda 是閾值乘數。Hτ\mathcal H_\tau 把絕對值低於 τ\tau 的係數設為零。相似區塊的共同訊號集中到較少係數,其餘係數較可能是雜訊。再把濾波區塊放回原位置,以可靠度權重結合重疊估計,形成基礎影像估計。

第二階段:利用基礎估計,但不把它當真值。 在基礎估計中匹配區塊,依相同位置分別從基礎影像與原始含雜訊影像建立群組。在正交正規轉換的理想形式下,係數增益為

gj=∣bj∣2∣bj∣2+σ2,c^j=gjcj.g_j=\frac{|b_j|^2}{|b_j|^2+\sigma^2},\qquad \widehat c_j=g_j c_j.

bjb_j 是基礎群組的第 jj 個係數,cjc_j 是對應的原始含雜訊係數,gjg_j 是 Wiener 增益,c^j\widehat c_j 是濾波後係數。實作必須考慮所選轉換的雜訊變異數與正規化;此式用來解釋收縮原理。接著反轉換並再次聚合。若只濾波基礎影像,就錯誤捨棄了原圖顯示的原始量測路徑。

結果

表 III 比較測試影像與不同高斯雜訊強度下的灰階去雜訊 PSNR,圖 6–8 提供視覺比較,表 IV 則另外評估彩色擴充。證據適用於指定的加性雜訊模型與影像集合,不能直接推到任意原始相機雜訊、模糊或壓縮。論文也報告當時硬體的運算時間;未實際量測前,不能直接套用到現代 CPU 或函式庫實作。

消融與參數證據

表 II 在維持 Normal Profile 設定下改變轉換。群組軸只保留直流項的「DC-only」表現不如較完整的群組轉換:匹配區塊只是相似,不是完全相同,只留平均會損失有效差異。研究也指出,區塊內精確採用哪一種轉換,影響比直覺預期小。圖 9 比較參數設定檔,包含較強雜訊的設定。這些是受控設計比較;較快的設定改變品質與成本取捨,並不證明完整方法沒有必要。

結論

BM3D 結合自相似性與稀疏轉換域估計。NLM 主要平均相容觀測;BM3D 則能透過轉換係數,保留群組內的差異。它是實用、無須訓練的高斯去雜訊基準,也能幫助理解分組、收縮、聚合為何是三項不同的設計決定。

限制與問題

雜訊強度設錯,會同時改變匹配與收縮。嚴重雜訊可能讓不相關區塊看似相近,獨特結構則可能缺少匹配。聚合群組彼此重疊並共用觀測,因此誤差不獨立。彩色處理與訊號相依雜訊需要明確建模;灰階公式不會自動成為完整的相機雜訊流程。第二階段可改善估計,但無法保證恢復觀測未支持的細節。

參考文獻

  1. R. C. Gonzalez and R. E. Woods, Digital Image Processing, 4th ed., Pearson, 2018, Ch. 5. publisher page
  2. H. Hwang and R. A. Haddad, “Adaptive median filters: new algorithms and results,” IEEE Transactions on Image Processing, vol. 4, no. 4, pp. 499–502, 1995. DOI
  3. B. R. Hunt, “The application of constrained least squares estimation to image restoration by digital computer,” IEEE Transactions on Computers, vol. C-22, no. 9, pp. 805–812, 1973. DOI
  4. A. C. Kak and M. Slaney, Principles of Computerized Tomographic Imaging, IEEE Press, 1988 (SIAM reprint 2001). free online edition
  5. L. A. Shepp and B. F. Logan, “The Fourier reconstruction of a head section,” IEEE Transactions on Nuclear Science, vol. 21, no. 3, pp. 21–43, 1974. DOI
  6. scikit-image developers, “Radon transform,” scikit-image documentation (gallery example). docs
  7. A. Buades, B. Coll and J.-M. Morel, “A non-local algorithm for image denoising,” IEEE CVPR, vol. 2, pp. 60–65, 2005. DOI
  8. K. Dabov, A. Foi, V. Katkovnik and K. Egiazarian, “Image denoising by sparse 3-D transform-domain collaborative filtering,” IEEE Transactions on Image Processing, vol. 16, no. 8, pp. 2080–2095, 2007. DOI
  9. K. Zhang, W. Zuo, Y. Chen, D. Meng and L. Zhang, “Beyond a Gaussian denoiser: Residual learning of deep CNN for image denoising,” IEEE Transactions on Image Processing, vol. 26, no. 7, pp. 3142–3155, 2017. doi · arXiv
  10. C. Tian, L. Fei, W. Zheng, Y. Xu, W. Zuo and C.-W. Lin, “Deep learning on image denoising: An overview,” Neural Networks, vol. 131, pp. 251–275, 2020. arXiv
  11. M. Elad, B. Kawar and G. Vaksman, “Image denoising: The deep learning revolution and beyond — A survey paper,” SIAM Journal on Imaging Sciences, vol. 16, no. 3, pp. 1594–1654, 2023. arXiv
  12. K. Zhang, W. Ren, W. Luo, W.-S. Lai, B. Stenger, M.-H. Yang and H. Li, “Deep image deblurring: A survey,” International Journal of Computer Vision, 2022. arXiv
  13. G. Ongie, A. Jalal, C. A. Metzler, R. G. Baraniuk, A. G. Dimakis and R. Willett, “Deep learning techniques for inverse problems in imaging,” arXiv:2005.06001, 2020. arXiv
  14. U. S. Kamilov, C. A. Bouman, G. T. Buzzard and B. Wohlberg, “Plug-and-play methods for integrating physical and learned models in computational imaging: Theory, algorithms, and applications,” IEEE Signal Processing Magazine, vol. 40, no. 1, pp. 85–97, 2023. arXiv
  15. K. Zhang, Y. Li, W. Zuo, L. Zhang, L. Van Gool and R. Timofte, “Plug-and-play image restoration with deep denoiser prior,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 44, no. 10, pp. 6360–6376, 2022. arXiv
  16. K. H. Jin, M. T. McCann, E. Froustey and M. Unser, “Deep convolutional neural network for inverse problems in imaging,” IEEE Transactions on Image Processing, vol. 26, no. 9, pp. 4509–4522, 2017. arXiv
  17. J. Adler and O. Öktem, “Learned primal-dual reconstruction,” IEEE Transactions on Medical Imaging, 2018. arXiv
  18. V. Monga, Y. Li and Y. C. Eldar, “Algorithm unrolling: Interpretable, efficient deep learning for signal and image processing,” arXiv:1912.10557, 2019. arXiv
  19. G. Wang, J. C. Ye and B. De Man, “Deep learning for tomographic image reconstruction,” Nature Machine Intelligence, vol. 2, no. 12, pp. 737–748, 2020. DOI
  20. A. Buades, B. Coll and J.-M. Morel, “A review of image denoising algorithms, with a new one,” Multiscale Modeling & Simulation, vol. 4, no. 2, pp. 490–530, 2005. DOI
  21. L. I. Rudin, S. Osher and E. Fatemi, “Nonlinear total variation based noise removal algorithms,” Physica D: Nonlinear Phenomena, vol. 60, no. 1–4, pp. 259–268, 1992. DOI
  22. A. Chambolle, “An algorithm for total variation minimization and applications,” Journal of Mathematical Imaging and Vision, vol. 20, no. 1–2, pp. 89–97, 2004. DOI
  23. A. Buades, B. Coll and J.-M. Morel, “Non-Local Means Denoising,” Image Processing On Line, vol. 1, pp. 208–212, 2011. DOI · article and implementation