完整搜尋頁面 →

DLCV 11A・匹配視窗越大一定越好嗎?

進階DLCV 11A・深度估計與光流影像實驗

題目說明

在已知視差的合成立體影像對上執行區塊匹配,看小視窗變得雜亂,而大視窗讓前景變胖。

試試看:預設的 3 × 3 視窗會讓視差圖很雜亂,無紋理區塊裡最嚴重。一次放大一格視窗,觀察三條曲線:所有像素的誤差在哪裡最低?視窗到 31 × 31 時,圓盤的白色輪廓發生了什麼事?接著把雜訊調到 0.06,看 3 × 3 視窗受影響多大。最後打開左右一致性檢查:哪些像素變成粉紅色?bad-1 又怎麼變?

先預測

在預設雜訊下,3 × 3 視窗得到的視差圖很雜亂。如果把視窗一步步放大到 31 × 31,bad 像素率(所有評分像素的 bad-1)會怎麼變?

提示

使用這個實驗的章節段落:

解析

請先回答預測問題,或在準備好時再打開解析。

顯示解析

先下降,再上升。小視窗的紋理太少,無法判斷(看到的大多是雜訊),所以無紋理區塊大多是錯的。大視窗能修好那一塊,但在邊緣附近會把兩種深度的像素混在一起,而有紋理、較亮的圓盤會勝出:它向背景擴張。這裡 bad-1 在約 7 × 7 到 11 × 11 的視窗最低,31 × 31 比它們差,但仍比 3 × 3 好。所有像素的誤差把兩種互相抵換的誤差藏在一起了。

實驗 · DLCV 11A・匹配視窗越大一定越好嗎?

先預測

在預設雜訊下,3 × 3 視窗得到的視差圖很雜亂。如果把視窗一步步放大到 31 × 31,bad 像素率(所有評分像素的 bad-1)會怎麼變?

正在載入影像…

左影像(含雜訊)
真實視差(暗:遠,亮:近;左側色帶不評分)
估計的視差(粉紅:已作廢;白線:真實的深度邊緣)
此雜訊下,誤差與視窗大小的關係

試試看:預設的 3 × 3 視窗會讓視差圖很雜亂,無紋理區塊裡最嚴重。一次放大一格視窗,觀察三條曲線:所有像素的誤差在哪裡最低?視窗到 31 × 31 時,圓盤的白色輪廓發生了什麼事?接著把雜訊調到 0.06,看 3 × 3 視窗受影響多大。最後打開左右一致性檢查:哪些像素變成粉紅色?bad-1 又怎麼變?

刻意做成合成而小巧:左影像為 128 × 96,由程式畫出,使用固定的隨機種子,因此拖動滑桿時畫面不會閃動。有紋理的背景平面視差為 4,較亮、有紋理的圓盤視差為 12,背景上另有一塊平坦的灰色矩形。右影像把每個左影像像素依其視差向左平移(較近的表面勝出),未被覆蓋的像素以新的紋理填補;兩張影像都加上標準差為所選值的高斯感測器雜訊。匹配方法與章節相同:對每個視差 0 到 15,視窗的成本是絕對差的平均(SAD,除以有對應像素的數量),再由贏者全拿(winner-take-all)取成本最低者。bad-1 是評分像素中視差誤差超過 1 像素者的百分比。評分像素是兩個視角都看得到、且距左邊界至少 16 欄的像素(圖中左側褪色的部分不評分)。檢查會改以右影像為參考再匹配一次,兩次答案相差超過 1 的像素即作廢;此時 bad-1 與平坦區塊的分數只計算保留下來的像素。圓盤變胖是指被標成圓盤視差(誤差 1 以內)的可見背景像素,占圓盤真實面積的百分比。這些是本實驗在自己的玩具場景上的數字,不是章節場景的數字。

方法與影像來源

在互動實驗頁開啟 →