DLCV 10・把兩張照片取平均,就算融合了嗎?
進階DLCV 10・影像融合:互補來源與有用輸出影像實驗
題目說明
同一個場景的兩張照片,各自在不同區域是清晰的。把它們取平均,或逐像素選取局部細節較多的那一張,並以全清晰的真實影像評分。
試試看:從預設值開始:平均後的影像處處模糊,而依清晰度選取的結果是清晰的。現在把視窗降到 0.5,觀察決策圖:為什麼它充滿雜點?這些雜點在哪裡傷害了影像?再把細節量測改成局部變異數、視窗維持 0.5(它對雜點的容忍度低得多),然後把視窗調大、並把決策圖平滑 2。平滑換來了什麼?視窗太大時,圓的邊緣又付出了什麼代價?
解析
請先回答預測問題,或在準備好時再打開解析。
顯示解析
在圓盤內 A 等於真實影像 T,B 是模糊的複本 T′,所以 (A + B)/2 = (T + T′)/2。模糊複本只剩很少的細微細節,因此 T 的細節只以約一半的振幅留下來(略多一些,因為 T′ 還保有一點細節,雜訊也貢獻了一些),還疊在一層柔和的重影上。把細微對比定義為影像減去其高斯模糊(σ = 2)後在圓盤內的均方根,平均影像只保留真實影像的 61%,選取規則的結果則是 101%。平均無法做選擇,依局部細節挑選才能。
實驗 · DLCV 10・把兩張照片取平均,就算融合了嗎?
正在載入影像…
試試看:從預設值開始:平均後的影像處處模糊,而依清晰度選取的結果是清晰的。現在把視窗降到 0.5,觀察決策圖:為什麼它充滿雜點?這些雜點在哪裡傷害了影像?再把細節量測改成局部變異數、視窗維持 0.5(它對雜點的容忍度低得多),然後把視窗調大、並把決策圖平滑 2。平滑換來了什麼?視窗太大時,圓的邊緣又付出了什麼代價?
合成的多焦點影像對(scripts/figures/playground_image_fusion.py),做法與章節程式的相同,只是尺寸縮小一半:camera 測試影像(256 × 256)是全清晰的真實影像;照片 A 在圓盤內保留原圖、圓盤外做高斯模糊(σ = 2),照片 B 則相反,兩者各加上標準差 0.01 的高斯雜訊。由於模糊是我們自己做的,真實的決策圖(圓盤)完全已知,而真實的多焦點照片永遠無法提供這一點。平均是 (A + B)/2。選取規則在每個像素替兩張照片打分,分數是在標準差 σ 的高斯視窗(即「視窗」)內平均的細節量測:拉普拉斯能量 G_σ * (∇²I)²,其中 ∇²I = I(x−1,y) + I(x+1,y) + I(x,y−1) + I(x,y+1) − 4 I(x,y);或局部變異數 G_σ * I² − (G_σ * I)²。決策圖標出照片 A 分數較高的像素,F = w A + (1 − w) B,w 是決策圖,可再以所選 σ 的高斯模糊(0 表示維持二值)。PSNR = 10 log₁₀(1/MSE),單位 dB,以真實影像為基準,像素值在 [0, 1]。圖的一致率是在有紋理的像素上(真實影像的平滑 |拉普拉斯| 大於 0.01)決策與真實圓盤相同的比例。這些數字只屬於這個玩具範例。