完整搜尋頁面 →

DLCV 03B・小小的偏航角誤差無傷大雅嗎?

進階DLCV 03B・三維物件偵測:光達、相機與鳥瞰視角影像實驗

題目說明

在鳥瞰視角中,把預測框從真實框轉開幾度,觀察精確的旋轉 IoU 下降,而中心距離維持為零。

試試看:預設設定(巴士或卡車,12 × 2.5 公尺,偏航角誤差 10°,兩個中心完全重合)下,旋轉 IoU 只有 0.657,儘管中心距離是 0 公尺;不管偏航角的外接矩形則給出 0.539。把偏航角誤差降到 5°,IoU 仍然只有 0.808。換成汽車(4.5 × 1.8 公尺),同樣的 10° 損失較小,為 0.796;再換成行人(0.7 × 0.7 公尺):10° 時是 0.863,而且在任何偏航角誤差下都不會低於 0.707。表格的最後一列給出各形狀的 IoU 掉到 0.7 以下所需的偏航角誤差:巴士 8.5°,汽車 16.55°。以 0.7 為 IoU 門檻的配對規則,會讓哪一類物體因為朝向錯誤而受到最重的懲罰?而只看中心距離的規則,對這三類又怎麼說?

先預測

偵測器預測了一個巴士大小(12 × 2.5 公尺)的框,中心與尺寸都完全正確,但朝向偏了 10°。它與真實框的鳥瞰視角 IoU 是多少?

提示

使用這個實驗的章節段落:

解析

請先回答預測問題,或在準備好時再打開解析。

顯示解析

約 0.65。這個框長 12 公尺,轉 10° 會讓兩端各往側邊擺動約 1 公尺,但框只有 2.5 公尺寬,所以損失了相當一部分重疊:精確的 IoU 是 0.657(5° 時 0.808,20° 時 0.423),而中心距離卻是 0 公尺。這個巴士大小的框在偏航角誤差 8.5° 時就低於 IoU 0.7,汽車大小的框是 16.55°,方形的行人框則永遠不會。

實驗 · DLCV 03B・小小的偏航角誤差無傷大雅嗎?

先預測

偵測器預測了一個巴士大小(12 × 2.5 公尺)的框,中心與尺寸都完全正確,但朝向偏了 10°。它與真實框的鳥瞰視角 IoU 是多少?

正在載入影像…

鳥瞰視角:真實框、預測框與它們的精確重疊
三種形狀在所選中心偏移下,旋轉 IoU 與偏航角誤差的關係

試試看:預設設定(巴士或卡車,12 × 2.5 公尺,偏航角誤差 10°,兩個中心完全重合)下,旋轉 IoU 只有 0.657,儘管中心距離是 0 公尺;不管偏航角的外接矩形則給出 0.539。把偏航角誤差降到 5°,IoU 仍然只有 0.808。換成汽車(4.5 × 1.8 公尺),同樣的 10° 損失較小,為 0.796;再換成行人(0.7 × 0.7 公尺):10° 時是 0.863,而且在任何偏航角誤差下都不會低於 0.707。表格的最後一列給出各形狀的 IoU 掉到 0.7 以下所需的偏航角誤差:巴士 8.5°,汽車 16.55°。以 0.7 為 IoU 門檻的配對規則,會讓哪一類物體因為朝向錯誤而受到最重的懲罰?而只看中心距離的規則,對這三類又怎麼說?

真實框是軸對齊、位於原點的矩形,長邊沿著 x 軸。預測框的尺寸完全正確,先繞自己的中心轉過偏航角誤差,再沿著真實框的長邊方向平移中心偏移量。尺寸僅為示意,採用章節圖 4 與圖 6 的數值(行人 0.7 × 0.7 公尺、汽車 4.5 × 1.8 公尺、巴士或卡車 12 × 2.5 公尺),並非任何資料集的量測值。旋轉 IoU 是精確的:重疊多邊形由 Sutherland–Hodgman 裁切法求出,面積用鞋帶公式,IoU = 重疊 /(真實框面積 + 預測框面積 − 重疊);程式碼是把章節的 Python 片段移植到 TypeScript,並與它對照測試。軸對齊 IoU 是取每個框最小的軸對齊外接矩形,再計算這兩個矩形的普通 IoU;它忽略真實形狀,所以在偏航角誤差小時比旋轉 IoU 低(轉過的框的外接矩形比框本身大),在誤差大時則比較高。中心距離是兩個中心在地面上的歐氏距離。IoU 看不出朝向轉了 180°,所以偏航角誤差限制在 0° 到 90°。這裡只比較鳥瞰視角(不含高度)。nuScenes 以地面上的二維中心距離把偵測框配對到物體,目的是讓偵測與物體大小和朝向脫鉤,朝向另以獨立的誤差項評分;KITTI 對汽車的門檻 0.7 是三維框的重疊。

方法與影像來源

在互動實驗頁開啟 →