完整搜尋頁面 →

現代觀點綜述導讀

選讀・IP 12・特徵擷取 的論文導讀(第 1/2 篇)。引用編號對應本頁底部的參考文獻。

導覽:本頁與本系列: 導覽:本頁與本系列

先分開形狀、關鍵點、紋理與匹配問題,再追蹤一個特徵如何成為可靠對應。

本章「現代觀點」以五篇綜述與基準為框架。

教材閱讀地圖 — 各卡片對照不同論文回答的問題;這些分類互補,不代表效能排名,也不是轉載其中一篇的架構圖。
教材閱讀地圖 — 各卡片對照不同論文回答的問題;這些分類互補,不代表效能排名,也不是轉載其中一篇的架構圖。

形狀描述子

Zhang 與 Lu 的綜述 [9] 沿兩個軸分類形狀描述子:以輪廓為主或以區域為主,以及全域式(整個形狀一個向量)或結構式(把形狀拆成基本單元)。本章前半段的方法都能放進這個表格:鏈碼與多邊形是結構式輪廓方法;傅立葉描述子與邊界動差是全域式輪廓方法;面積、尤拉數與 Hu 動差是全域式區域方法;骨架則是結構式區域方法。綜述對每種技術說明實作方式,並列出優缺點;實務上的訊息是:沒有一種描述子適用於所有應用,該選哪一種,取決於任務需要哪些不變性、需要多少細節。

局部特徵偵測器

Tuytelaars 與 Mikolajczyk [10] 綜述了興趣點與區域偵測器:角點偵測器(Harris 及其尺度、仿射調適版本)、斑點偵測器(Laplacian/DoG、Hessian)與區域偵測器(MSER 等)。他們以好的局部特徵應具備的性質來組織這個領域:可重複性(repeatability)、鑑別性(distinctiveness)、局部性(locality)、數量、準確度與效率。他們指出,最重要的可重複性可以用兩種方式達成:不變性(用數學模型描述大的形變,再設計不受其影響的偵測器)或強健性(容忍雜訊、模糊、壓縮等小的形變)。他們也提醒,有些性質彼此競爭:鑑別性與局部性無法同時最大化,因為越局部的特徵看到的強度圖樣越少,也就越難正確配對;該怎麼取捨要看應用。SIFT 的兩個重速度的後繼者正是用準確度換時間的例子:SURF [7] 在積分影像上用方框濾波器近似高斯導數,ORB [8] 結合 FAST 角點測試與有方向性的二元描述子,以漢明距離比較,快到可以在手機上執行。

紋理

Liu 等人 [11] 回顧了約二十年的紋理分類表示法,分為詞袋(bag-of-words)流程(局部描述子、編碼與池化)、以 CNN 為基礎的方法,以及以屬性為基礎的方法。共生統計 [3] 位在這段歷史的源頭:它們是第一批被廣泛使用的「像素對」描述子。這篇涵蓋兩百多篇論文的綜述,描繪了領域如何從以詞袋編碼的手工局部描述子,轉向以 CNN 特徵為基礎的表示法,最後並整理了尚待解決的問題與未來方向。

影像配對:從手工到深度

Ma 等人 [12] 沿著完整的配對流程(偵測、描述、配對與離群值剔除),從手工方法談到可訓練的方法,並在標準資料集上做實驗比較;可以看到學習已經進入流程的每一個階段,而不只是描述子。Jin 等人 [13] 建立了一個以最終相機姿態準確度、而非中間指標來評分的基準。他們的關鍵發現是一個警訊:只要把每種方法的設定(比值門檻、RANSAC 參數、關鍵點數量)調好,像 SIFT 這樣的傳統流程仍可能勝過被視為最先進的方法,這暗示部分已發表的進步其實反映了沒調好的基準線。

如何判讀這些論文的證據

要分開偵測器的重複性、描述子的辨別力與匹配器的幾何驗證。同一點沒被偵測時,描述子還沒比較就已失敗;重複紋理也可能產生很像卻錯誤的匹配。形狀、紋理與局部特徵的證據單位不同,不能合成一個通用排名。

比較須交代影像變換、可見性、定位容忍度與匹配流程。不變性提升重複性,也可能丟掉區別相似結構的資訊;學習式匹配仍受訓練場景、關鍵點密度及離群處理影響。分開看重複性、對應精確率與幾何成功率,再沿偵測、描述、匹配、驗證追蹤一個對應。

參考文獻

  1. R. C. Gonzalez and R. E. Woods, Digital Image Processing, 4th ed., Pearson, 2018, Ch. 12. publisher page
  2. M.-K. Hu, “Visual pattern recognition by moment invariants,” IRE Transactions on Information Theory, vol. 8, no. 2, pp. 179–187, 1962. doi
  3. R. M. Haralick, K. Shanmugam, and I. Dinstein, “Textural features for image classification,” IEEE Transactions on Systems, Man, and Cybernetics, vol. SMC-3, no. 6, pp. 610–621, 1973. doi
  4. C. Harris and M. Stephens, “A combined corner and edge detector,” in Proc. Alvey Vision Conference, pp. 23.1–23.6, 1988. doi
  5. J. Matas, O. Chum, M. Urban, and T. Pajdla, “Robust wide-baseline stereo from maximally stable extremal regions,” Image and Vision Computing, vol. 22, no. 10, pp. 761–767, 2004. doi
  6. D. G. Lowe, “Distinctive image features from scale-invariant keypoints,” International Journal of Computer Vision, vol. 60, no. 2, pp. 91–110, 2004. doi
  7. H. Bay, A. Ess, T. Tuytelaars, and L. Van Gool, “Speeded-up robust features (SURF),” Computer Vision and Image Understanding, vol. 110, no. 3, pp. 346–359, 2008. doi
  8. E. Rublee, V. Rabaud, K. Konolige, and G. Bradski, “ORB: An efficient alternative to SIFT or SURF,” in Proc. IEEE International Conference on Computer Vision (ICCV), pp. 2564–2571, 2011. doi
  9. D. Zhang and G. Lu, “Review of shape representation and description techniques,” Pattern Recognition, vol. 37, no. 1, pp. 1–19, 2004. doi
  10. T. Tuytelaars and K. Mikolajczyk, “Local invariant feature detectors: A survey,” Foundations and Trends in Computer Graphics and Vision, vol. 3, no. 3, pp. 177–280, 2008. doi
  11. L. Liu, J. Chen, P. Fieguth, G. Zhao, R. Chellappa, and M. Pietikäinen, “From BoW to CNN: Two decades of texture representation for texture classification,” International Journal of Computer Vision, vol. 127, pp. 74–109, 2019. arXiv
  12. J. Ma, X. Jiang, A. Fan, J. Jiang, and J. Yan, “Image matching from handcrafted to deep features: A survey,” International Journal of Computer Vision, vol. 129, pp. 23–79, 2021. doi
  13. Y. Jin, D. Mishkin, A. Mishchuk, J. Matas, P. Fua, K. M. Yi, and E. Trulls, “Image matching across wide baselines: From paper to practice,” International Journal of Computer Vision, 2021. doi · arXiv
  14. D. DeTone, T. Malisiewicz, and A. Rabinovich, “SuperPoint: Self-supervised interest point detection and description,” arXiv:1712.07629, 2017. arXiv
  15. P.-E. Sarlin, D. DeTone, T. Malisiewicz, and A. Rabinovich, “SuperGlue: Learning feature matching with graph neural networks,” arXiv:1911.11763, 2019. arXiv
  16. M. J. Tyszkiewicz, P. Fua, and E. Trulls, “DISK: Learning local features with policy gradient,” arXiv:2006.13566, 2020. arXiv
  17. J. Sun, Z. Shen, Y. Wang, H. Bao, and X. Zhou, “LoFTR: Detector-free local feature matching with Transformers,” arXiv:2104.00680, 2021. arXiv
  18. P. Lindenberger, P.-E. Sarlin, and M. Pollefeys, “LightGlue: Local feature matching at light speed,” arXiv:2306.13643, 2023. arXiv
  19. M. Oquab, T. Darcet, T. Moutakanni, et al., “DINOv2: Learning robust visual features without supervision,” arXiv:2304.07193, 2023. arXiv
  20. J. Edstedt, Q. Sun, G. Bökman, M. Wadenbäck, and M. Felsberg, “RoMa: Robust dense feature matching,” in Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2024. arXiv
  21. M. A. Fischler and R. C. Bolles, “Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography,” Communications of the ACM, vol. 24, no. 6, pp. 381–395, 1981. doi
  22. scikit-image contributors, “skimage.measure.ransac,” scikit-image 0.26 documentation (API reference). docs