DLCV 04・像素準確率高,就代表分割得好嗎?
進階DLCV 04・影像分割:語意、實例與全景分割影像實驗
題目說明
模擬一個以較粗的輸出步幅(stride)做預測的分割網路,比較像素準確率、平均 IoU 與最小類別的 IoU。
試試看:預設的輸出步幅為 8,預測約有 95% 的像素正確,但小方塊的 IoU 卻是 0。把步幅降到 4,再降到 2:細桿在哪個步幅才回來?為什麼它比小方塊需要更細的步幅?接著把步幅升到 32:五個類別中還有幾個的 IoU 不是 0?最後在步幅 8 把放大方式改成雙線性:哪些數字改變了,哪一個仍然是 0?
解析
請先回答預測問題,或在準備好時再打開解析。
顯示解析
像素準確率仍然很高,小類別卻消失了。在 8 × 8 的格子裡,細桿最多只占 64 個像素中的 3 × 8 = 24 個,五個小方塊也沒有任何一個在格子裡超過 24 個,因為它們都跨過格子邊界。在這些格子裡,背景的占比最大,所以整個格子被標成背景。細桿與小方塊合計只占約 2.7% 的像素,所以失去它們對像素準確率影響很小,但每個類別在 mIoU 中各占五分之一。像素準確率主要衡量的是大面積的背景。
實驗 · DLCV 04・像素準確率高,就代表分割得好嗎?
正在載入影像…
試試看:預設的輸出步幅為 8,預測約有 95% 的像素正確,但小方塊的 IoU 卻是 0。把步幅降到 4,再降到 2:細桿在哪個步幅才回來?為什麼它比小方塊需要更細的步幅?接著把步幅升到 32:五個類別中還有幾個的 IoU 不是 0?最後在步幅 8 把放大方式改成雙線性:哪些數字改變了,哪一個仍然是 0?
標籤圖是合成的(128 × 128,由程式畫出,沒有使用隨機數):約 85% 的像素是背景,另有一個圓盤、一個方塊、一根 3 像素寬的細桿與五個 6 × 6 的小方塊,各自是獨立的類別。網路是理想化的:在輸出步幅 s 下,每個 s × s 格子對各類別的分數,就是格內屬於該類別的像素比例,這已是步幅 s 的預測頭所能給出的最好結果。最近鄰放大時,比例最大的類別決定整個格子的標籤(平手時取編號最小的類別);雙線性放大則逐類別對比例做內插,再由最大的分數決定每個像素。它是章節玩具實驗在較小場景上的相同做法,因此數字屬於這個實驗本身,不是章節中的數字。各項分數依章節定義:像素準確率是預測正確的像素比例,類別的 IoU 是真陽性除以(真陽性 + 漏判 + 誤判),mIoU 是五個類別(含背景)IoU 的平均,由同一個混淆矩陣算出。
方法與影像來源
- J. Long, E. Shelhamer and T. Darrell, Fully Convolutional Networks for Semantic Segmentation, CVPR, 2015 (pixel accuracy, mean IoU and output stride)
- L.-C. Chen et al., DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs, IEEE TPAMI, 2018 (output stride 8 and 16)