DLCV 05・熱圖的 argmax 就是關鍵點嗎?
進階DLCV 05・人體姿態與關鍵點估計影像實驗
題目說明
對 500 個隨機的子像素關鍵點,以步幅 1、2、4 或 8 繪製高斯熱圖,比較三種讀回位置的方法:最亮的格子、四分之一格偏移與 Taylor 步驟。
試試看:預設設定(步幅 4、單純 argmax)下,500 個關鍵點平均偏離 1.58 像素;平均誤差表顯示步幅每加倍,誤差也加倍:步幅 1、2、4、8 分別是 0.37、0.78、1.58 與 3.12 像素,接近步幅的 0.383 倍。把解碼改成四分之一偏移(約減半),再改成 Taylor 步驟:在步幅 8,它把 3.12 像素降到 0.41 像素。接著保持 Taylor 步驟,把 σ 從 2 格提高到 4 格:在步幅 8,它的誤差從 0.41 增加到 1.58 像素。較寬的峰應該比較容易讀,為什麼同樣的雜訊卻傷害更大?
解析
請先回答預測問題,或在準備好時再打開解析。
顯示解析
約 1.5 像素。峰值只能落在間距 4 像素的格點上,但關鍵點可以落在格點之間的任何位置,所以最亮的格子只是最近的格點,每個軸最多差半格。平均距離是 0.383 格:這次執行是 1.58 像素(步幅 1、2、4、8 分別為 0.37、0.78、1.58、3.12 像素),而且這還沒算網路自己的錯誤。對熱圖的對數做 Taylor 步驟,可以把它降到 0.21 像素。
實驗 · DLCV 05・熱圖的 argmax 就是關鍵點嗎?
正在載入影像…
試試看:預設設定(步幅 4、單純 argmax)下,500 個關鍵點平均偏離 1.58 像素;平均誤差表顯示步幅每加倍,誤差也加倍:步幅 1、2、4、8 分別是 0.37、0.78、1.58 與 3.12 像素,接近步幅的 0.383 倍。把解碼改成四分之一偏移(約減半),再改成 Taylor 步驟:在步幅 8,它把 3.12 像素降到 0.41 像素。接著保持 Taylor 步驟,把 σ 從 2 格提高到 4 格:在步幅 8,它的誤差從 0.41 增加到 1.58 像素。較寬的峰應該比較容易讀,為什麼同樣的雜訊卻傷害更大?
一個模仿章節程式碼的玩具,使用自己的亂數(因此平均值與章節那次執行相差在小數第二位)。500 個關鍵點在 256 × 256 輸入的 [16, 240] × [16, 240] 像素內均勻抽樣。步幅 s 的熱圖是整數格 p 上的 exp(−‖p − x/s‖² / (2σ²)),以未四捨五入的精確位置為中心,再加上每格標準差 0.01 的高斯雜訊,下限為 10⁻⁶;與章節相同,格子的中心就是整數位置,所以最亮的格子 i 對應到 s · i。Argmax 解碼為 s · (最亮的格子)。四分之一偏移是在每個軸上,把最亮的格子朝較亮的鄰格移動 ¼ 格。Taylor 步驟是在最亮的格子上,對熱圖的對數做一次牛頓步,使用中央差分,且只有在 2 × 2 的 Hessian 為負定時才採用。誤差是與真實位置的歐氏距離(輸入像素)。這裡只產生真實格子周圍的 (2R + 1)² 個格子,R = ⌈2σ⌉ + 2;視窗之外高斯值低於 0.14(峰值至少 0.77,雜訊只有 0.01),所以其餘的熱圖不會改變答案。格線圖顯示固定的一個關鍵點 (102.6, 78.9),所有解碼器使用相同的雜訊。真實網路還有這個玩具省略的其他誤差;本實驗只隔離出格子本身造成的誤差。
方法與影像來源
- J. Tompson, A. Jain, Y. LeCun and C. Bregler, Joint Training of a Convolutional Network and a Graphical Model for Human Pose Estimation, NeurIPS, 2014 (heatmap targets: a 2D Gaussian at the joint)
- A. Newell, K. Yang and J. Deng, Stacked Hourglass Networks for Human Pose Estimation, ECCV, 2016 (quarter-pixel offset toward the next highest neighbour)
- B. Xiao, H. Wu and Y. Wei, Simple Baselines for Human Pose Estimation and Tracking, ECCV, 2018 (quarter offset from the highest to the second highest response)
- F. Zhang, X. Zhu, H. Dai, M. Ye and C. Zhu, Distribution-Aware Coordinate Representation for Human Pose Estimation, CVPR, 2020 (Taylor-expansion decoding of the heatmap)