DLCV 07・物體相遇時,身分為什麼會對調?
進階DLCV 07・物件追蹤:從單一物件到多物件影像實驗
題目說明
用卡爾曼濾波器、成本矩陣與匈牙利演算法,在 30 幀合成影片中追蹤三個彩色方塊,觀察只用框重疊時兩個身分如何對調。
試試看:預設設定(λ = 1,只看框重疊)下,橘色與藍色兩個走路的人在相遇後的第 15 幀對調了軌跡:發生 2 次身分切換,90 個物體幀中有 30 個帶著錯誤的編號。請以 0.05 為單位降低 λ:交換在 λ = 0.9 與 0.8 之間消失;λ = 0.5 時,各軌跡與自己物體的平均 IoU 由 0.582 升到 0.850。接著把抖動設為 0:只看重疊仍然會交換,可見原因是折返而不是雜訊。最後把抖動調到 5 像素:連 λ = 0.5 也會有 4 次身分切換。在第 13 幀,軌跡 #1 的顏色成本 1 − cos 對藍色的人是 0.47,對自己的橘色的人卻是 0.61。為什麼顏色這時變得不可靠?
解析
請先回答預測問題,或在準備好時再打開解析。
顯示解析
外觀。兩個人都是 30 × 40 像素,所以大小不含任何資訊。失敗的是「與直線預測的重疊」:折返之後,藍色軌跡的預測框與橘色的人重疊較多(1 − IoU = 0.36),與藍色的人較少(0.50),於是在第 15 幀匈牙利演算法把兩條軌跡對調(2 次身分切換)。顏色成本 1 − cos 對藍色軌跡與藍色的人是 0.02,與橘色的人是 0.19;以 λ = 0.5 混入後,身分切換為 0 次。
實驗 · DLCV 07・物體相遇時,身分為什麼會對調?
正在載入影像…
試試看:預設設定(λ = 1,只看框重疊)下,橘色與藍色兩個走路的人在相遇後的第 15 幀對調了軌跡:發生 2 次身分切換,90 個物體幀中有 30 個帶著錯誤的編號。請以 0.05 為單位降低 λ:交換在 λ = 0.9 與 0.8 之間消失;λ = 0.5 時,各軌跡與自己物體的平均 IoU 由 0.582 升到 0.850。接著把抖動設為 0:只看重疊仍然會交換,可見原因是折返而不是雜訊。最後把抖動調到 5 像素:連 λ = 0.5 也會有 4 次身分切換。在第 13 幀,軌跡 #1 的顏色成本 1 − cos 對藍色的人是 0.47,對自己的橘色的人卻是 0.61。為什麼顏色這時變得不可靠?
合成影片,完全由程式畫出,沒有使用任何照片。場景:160 × 128 像素的畫面、30 幀、三個 30 × 40 像素的人形方塊(橘、藍、綠上衣,各配不同顏色的褲子),再加上標準差 0.03 的高斯像素雜訊。橘色與藍色的人沿同一條線以每幀 4 像素相向而行,在第 14 幀站在同一個 x 位置(藍色的人低 8 像素、畫在前面)後各自折返;綠色的人沿畫面下方行走。這裡選擇「相遇後折返」而不是「直接穿過」,因為以等速穿過時,單靠運動就能分辨,只有雜訊碰巧才會交換;折返之後,直線預測會指向錯的人(章節稱為「彈回」的情形)。追蹤方式與 DLCV 07 章節相同:在 [cx, cy, w, h, vx, vy] 上的卡爾曼濾波器(q = 1,r = 4)、成本 C = λ(1 − IoU) + (1 − λ)(1 − m·e)(e 是偵測框內像素的單位長度顏色直方圖,每個色彩通道 4 格;m 是以 α = 0.9 更新的軌跡記憶),再用匈牙利演算法求解。已簡化:每幀每個物體恰有一個偵測框(沒有漏偵測、誤偵測、門檻過濾、新增或刪除軌跡);偵測框以輪替的順序出現,只在評分時才帶有真實物體編號;抖動是一組固定的隨機數(種子 16)乘上滑桿的值,所以不會重新抽樣。指標:身分切換是指某物體配到的軌跡編號與前一幀不同(章節的定義),所以兩條軌跡對調算 2 次;平均 IoU 是每條軌跡的濾波後框,與該軌跡起點所對應物體的真實框之間的 IoU;MOTA = 1 − (FN + FP + IDSW) / GT,此處 FN = FP = 0、GT = 90 個物體幀,所以兩次切換只讓 MOTA 少 0.022,儘管錯誤的編號持續了 15 幀。一組抖動只是一段影片:換成其他 200 組抖動(σ = 2.5)時,只看重疊的有 164 組發生切換,λ = 0.5 有 12 組;σ = 5 時分別是 165 與 90 組。以 NumPy 與 SciPy 重新實作的版本重現了所有數字。
方法與影像來源
- R. E. Kalman, A New Approach to Linear Filtering and Prediction Problems, Journal of Basic Engineering, 82(1), 35-45, 1960 (the constant-velocity filter)
- H. W. Kuhn, The Hungarian Method for the Assignment Problem, Naval Research Logistics Quarterly, 2(1-2), 83-97, 1955
- A. Bewley, Z. Ge, L. Ott, F. Ramos and B. Upcroft, Simple Online and Realtime Tracking, IEEE ICIP, 2016 (Kalman prediction, IoU cost, Hungarian matching)
- N. Wojke, A. Bewley and D. Paulus, Simple Online and Realtime Tracking with a Deep Association Metric, IEEE ICIP, 2017 (adding an appearance distance to the motion cost)
- K. Bernardin and R. Stiefelhagen, Evaluating Multiple Object Tracking Performance: The CLEAR MOT Metrics, EURASIP Journal on Image and Video Processing, 2008 (MOTA and identity switches)
- SciPy documentation, scipy.optimize.linear_sum_assignment (the reference used to test the Hungarian implementation)