完整搜尋頁面 →

DLCV 04・像素準確率高,就代表分割得好嗎?

進階DLCV 04・影像分割:語意、實例與全景分割影像實驗

題目說明

模擬一個以較粗的輸出步幅(stride)做預測的分割網路,比較像素準確率、平均 IoU 與最小類別的 IoU。

試試看:預設的輸出步幅為 8,預測約有 95% 的像素正確,但小方塊的 IoU 卻是 0。把步幅降到 4,再降到 2:細桿在哪個步幅才回來?為什麼它比小方塊需要更細的步幅?接著把步幅升到 32:五個類別中還有幾個的 IoU 不是 0?最後在步幅 8 把放大方式改成雙線性:哪些數字改變了,哪一個仍然是 0?

先預測

一個網路在輸出步幅 8 下預測,因此一個分數格子涵蓋 8 × 8 個像素,而且格子的分數是最理想的(精確的類別比例)。細桿寬 3 像素,小方塊為 6 × 6。各項分數會是什麼樣子?

提示

使用這個實驗的章節段落:

解析

請先回答預測問題,或在準備好時再打開解析。

顯示解析

像素準確率仍然很高,小類別卻消失了。在 8 × 8 的格子裡,細桿最多只占 64 個像素中的 3 × 8 = 24 個,五個小方塊也沒有任何一個在格子裡超過 24 個,因為它們都跨過格子邊界。在這些格子裡,背景的占比最大,所以整個格子被標成背景。細桿與小方塊合計只占約 2.7% 的像素,所以失去它們對像素準確率影響很小,但每個類別在 mIoU 中各占五分之一。像素準確率主要衡量的是大面積的背景。

實驗 · DLCV 04・像素準確率高,就代表分割得好嗎?

先預測

一個網路在輸出步幅 8 下預測,因此一個分數格子涵蓋 8 × 8 個像素,而且格子的分數是最理想的(精確的類別比例)。細桿寬 3 像素,小方塊為 6 × 6。各項分數會是什麼樣子?

正在載入影像…

真實標籤(5 個類別)
模擬網路的預測
預測錯誤的像素(紅色)
像素準確率、mIoU 與各類別的 IoU

試試看:預設的輸出步幅為 8,預測約有 95% 的像素正確,但小方塊的 IoU 卻是 0。把步幅降到 4,再降到 2:細桿在哪個步幅才回來?為什麼它比小方塊需要更細的步幅?接著把步幅升到 32:五個類別中還有幾個的 IoU 不是 0?最後在步幅 8 把放大方式改成雙線性:哪些數字改變了,哪一個仍然是 0?

標籤圖是合成的(128 × 128,由程式畫出,沒有使用隨機數):約 85% 的像素是背景,另有一個圓盤、一個方塊、一根 3 像素寬的細桿與五個 6 × 6 的小方塊,各自是獨立的類別。網路是理想化的:在輸出步幅 s 下,每個 s × s 格子對各類別的分數,就是格內屬於該類別的像素比例,這已是步幅 s 的預測頭所能給出的最好結果。最近鄰放大時,比例最大的類別決定整個格子的標籤(平手時取編號最小的類別);雙線性放大則逐類別對比例做內插,再由最大的分數決定每個像素。它是章節玩具實驗在較小場景上的相同做法,因此數字屬於這個實驗本身,不是章節中的數字。各項分數依章節定義:像素準確率是預測正確的像素比例,類別的 IoU 是真陽性除以(真陽性 + 漏判 + 誤判),mIoU 是五個類別(含背景)IoU 的平均,由同一個混淆矩陣算出。

方法與影像來源

在互動實驗頁開啟 →