完整搜尋頁面 →

DLCV 05・熱圖的 argmax 就是關鍵點嗎?

進階DLCV 05・人體姿態與關鍵點估計影像實驗

題目說明

對 500 個隨機的子像素關鍵點,以步幅 1、2、4 或 8 繪製高斯熱圖,比較三種讀回位置的方法:最亮的格子、四分之一格偏移與 Taylor 步驟。

試試看:預設設定(步幅 4、單純 argmax)下,500 個關鍵點平均偏離 1.58 像素;平均誤差表顯示步幅每加倍,誤差也加倍:步幅 1、2、4、8 分別是 0.37、0.78、1.58 與 3.12 像素,接近步幅的 0.383 倍。把解碼改成四分之一偏移(約減半),再改成 Taylor 步驟:在步幅 8,它把 3.12 像素降到 0.41 像素。接著保持 Taylor 步驟,把 σ 從 2 格提高到 4 格:在步幅 8,它的誤差從 0.41 增加到 1.58 像素。較寬的峰應該比較容易讀,為什麼同樣的雜訊卻傷害更大?

先預測

網路對一個隨機子像素位置的關鍵點,在步幅 4(一格 = 4 個輸入像素)回傳幾乎完美的高斯熱圖。你把最亮格子的位置當作關鍵點。平均會差多遠?

提示

使用這個實驗的章節段落:

解析

請先回答預測問題,或在準備好時再打開解析。

顯示解析

約 1.5 像素。峰值只能落在間距 4 像素的格點上,但關鍵點可以落在格點之間的任何位置,所以最亮的格子只是最近的格點,每個軸最多差半格。平均距離是 0.383 格:這次執行是 1.58 像素(步幅 1、2、4、8 分別為 0.37、0.78、1.58、3.12 像素),而且這還沒算網路自己的錯誤。對熱圖的對數做 Taylor 步驟,可以把它降到 0.21 像素。

實驗 · DLCV 05・熱圖的 argmax 就是關鍵點嗎?

先預測

網路對一個隨機子像素位置的關鍵點,在步幅 4(一格 = 4 個輸入像素)回傳幾乎完美的高斯熱圖。你把最亮格子的位置當作關鍵點。平均會差多遠?

正在載入影像…

一個關鍵點周圍的熱圖格子(數值 0 到 1):真實位置、解碼位置與最亮的格子
三種解碼方式在各步幅下,500 個關鍵點的平均誤差
所選解碼方式與步幅下,500 個誤差的直方圖

試試看:預設設定(步幅 4、單純 argmax)下,500 個關鍵點平均偏離 1.58 像素;平均誤差表顯示步幅每加倍,誤差也加倍:步幅 1、2、4、8 分別是 0.37、0.78、1.58 與 3.12 像素,接近步幅的 0.383 倍。把解碼改成四分之一偏移(約減半),再改成 Taylor 步驟:在步幅 8,它把 3.12 像素降到 0.41 像素。接著保持 Taylor 步驟,把 σ 從 2 格提高到 4 格:在步幅 8,它的誤差從 0.41 增加到 1.58 像素。較寬的峰應該比較容易讀,為什麼同樣的雜訊卻傷害更大?

一個模仿章節程式碼的玩具,使用自己的亂數(因此平均值與章節那次執行相差在小數第二位)。500 個關鍵點在 256 × 256 輸入的 [16, 240] × [16, 240] 像素內均勻抽樣。步幅 s 的熱圖是整數格 p 上的 exp(−‖p − x/s‖² / (2σ²)),以未四捨五入的精確位置為中心,再加上每格標準差 0.01 的高斯雜訊,下限為 10⁻⁶;與章節相同,格子的中心就是整數位置,所以最亮的格子 i 對應到 s · i。Argmax 解碼為 s · (最亮的格子)。四分之一偏移是在每個軸上,把最亮的格子朝較亮的鄰格移動 ¼ 格。Taylor 步驟是在最亮的格子上,對熱圖的對數做一次牛頓步,使用中央差分,且只有在 2 × 2 的 Hessian 為負定時才採用。誤差是與真實位置的歐氏距離(輸入像素)。這裡只產生真實格子周圍的 (2R + 1)² 個格子,R = ⌈2σ⌉ + 2;視窗之外高斯值低於 0.14(峰值至少 0.77,雜訊只有 0.01),所以其餘的熱圖不會改變答案。格線圖顯示固定的一個關鍵點 (102.6, 78.9),所有解碼器使用相同的雜訊。真實網路還有這個玩具省略的其他誤差;本實驗只隔離出格子本身造成的誤差。

方法與影像來源

在互動實驗頁開啟 →