完整搜尋頁面 →

DLCV 01・一個輸出單元能看到多少影像?

中階ML 03・卷積、影像濾波與 CNN影像實驗

題目說明

選一組卷積層堆疊與真實照片上的一個位置:影像上會畫出某個輸出單元所依賴的輸入像素方框,並顯示其大小、跳距與占整張影像的比例。

試試看:選擇「六層 3×3,每隔一層步幅 2」並點擊影像:這個單元看到 29 × 29 像素,占影像的 1.3%,相鄰單元相距 8 像素。接著選「四層 3×3,膨脹率 1、2、4、8」:感受野差不多,是 31 × 31 像素(1.5%),但跳距維持 1,所以每個像素仍有自己的輸出單元。最後點擊左上角:為什麼那裡被涵蓋的比例比照片中央小?

先預測

三層 3×3 卷積讓每個輸出單元的感受野為 7 × 7 像素。哪一種單一改動能讓它增加最多?

提示

使用這個實驗的章節段落:

解析

請先回答預測問題,或在準備好時再打開解析。

顯示解析

第一層步幅 2 勝出:感受野由 7 增加到 11,第四層與第一層膨脹率 2 都只增加到 9。步幅會讓之後每一層的跳距(相鄰單元間的像素間距)加倍,所以剩下兩層 3×3 各增加 4 像素,而不是 2 像素。膨脹率 2 作用在直接接收輸入(跳距 1)的層上,只增加 2 像素,與多加一層相同。步幅放的位置很重要:放在最後一層完全沒有影響,感受野仍是 7。

實驗 · DLCV 01・一個輸出單元能看到多少影像?

先預測

三層 3×3 卷積讓每個輸出單元的感受野為 7 × 7 像素。哪一種單一改動能讓它增加最多?

正在載入影像…

照片與一個輸出單元的感受野(黃色方框)。按一下或拖曳可移動單元
這個單元能看到的全部內容(放大)
逐層畫出的堆疊:r 是該層之後的感受野,j 是跳距;長條是精確追蹤的結果

試試看:選擇「六層 3×3,每隔一層步幅 2」並點擊影像:這個單元看到 29 × 29 像素,占影像的 1.3%,相鄰單元相距 8 像素。接著選「四層 3×3,膨脹率 1、2、4、8」:感受野差不多,是 31 × 31 像素(1.5%),但跳距維持 1,所以每個像素仍有自己的輸出單元。最後點擊左上角:為什麼那裡被涵蓋的比例比照片中央小?

真實照片:skimage.data.camera,256 × 256(來源見下方)。每一層是方形卷積,卷積核 k、步幅 s、膨脹率 d,兩側各以零填補 (k_eff − 1)/2,其中有效卷積核 k_eff = (k − 1)·d + 1。大小與跳距由遞迴 r ← r + (k_eff − 1)·j、j ← j·s 得出(輸入處 r = j = 1),影像上的方框則由一個輸出單元的索引區間逐層往回追蹤得到:這裡每一種堆疊兩種算法都一致,另以 SciPy 獨立計算哪些輸入像素會影響一個單元,也得到相同的方框。單元會對齊到輸出網格上最近的位置,網格間距就是跳距。方框超出影像的部分是零填補,被涵蓋的比例只計算影像內的部分。這是理論感受野:可能改變該單元的像素集合。實際影響並不均勻,而是集中在方框中央,所以有效感受野比較小;這裡沒有計算有效感受野,也沒有訓練任何權重。

方法與影像來源

在互動實驗頁開啟 →