完整搜尋頁面 →

現代觀點論文導讀

選讀・IP 13・影像圖樣分類 的論文導讀(第 1/1 篇)。引用編號對應本頁底部的參考文獻。

導覽:本頁與本系列: 導覽:本頁與本系列

這些選讀連接統計分類、學習表示、預訓練遷移與評估可靠度,協助分辨整條流程中改變了什麼。

本章的「現代觀點」建立在以下回顧與研究之上。

教材閱讀地圖 — 各卡片對照不同論文回答的問題;這些分類互補,不代表效能排名,也不是轉載其中一篇的架構圖。
教材閱讀地圖 — 各卡片對照不同論文回答的問題;這些分類互補,不代表效能排名,也不是轉載其中一篇的架構圖。

深度學習之前的統計圖樣辨識

Jain、Duin 與 Mao 的回顧 [2] 至今仍是傳統領域最清楚的地圖:表示、特徵擷取與選擇、貝氏與最近鄰規則、線性與非線性分類器、分類器結合,以及錯誤率估計。它的主要結論是:特徵表示與評估流程比分類器的選擇更重要。這個結論經得起時間考驗。深度學習並沒有推翻它,而是把「表示」這一部分自動化了。

CNN 時代

Rawat 與 Wang [11] 回顧了用於影像分類的 CNN,從 1980 年代末的起源一路到 2017 年,依架構、正則化、最佳化與實務技巧整理了三百多篇論文。他們描繪的脈絡始於 LeCun 等人以梯度訓練、用於文件辨識的網路 [6];AlexNet [7] 使用 GPU、ReLU、dropout 與資料擴增,在 2012 年贏得 ImageNet 大規模視覺辨識競賽 [10],讓這條路線加速;VGG [8] 顯示以小型 3×33 \times 3 核堆出的深度有幫助;ResNet [9] 透過恆等捷徑連接學習殘差函數,讓非常深的網路變得可以訓練。這些架構都仍看得出圖 13.6 的影子:卷積、非線性、池化、線性分類器,以反向傳播訓練。

視覺中的 Transformer

Vision Transformer(ViT)[12] 把影像切成 16×1616 \times 16 的小塊,把每塊當成一個 token,以自注意力(self-attention)而非卷積處理這個序列。只要預訓練資料足夠,它能追平甚至超越 CNN。Khan 等人的綜述 [13] 涵蓋了用於分類、偵測、分割等任務的眾多視覺 Transformer 變體,並討論它們對大規模預訓練的依賴。隨後 ConvNeXt [14] 顯示:一個純 CNN,只要借用 Transformer 的設計選擇一步步現代化,又能再度與之匹敵。實務上的教訓是:架構家族的差異,不如訓練資料、規模與訓練配方來得重要。

基礎模型特徵與零樣本分類

2021–2023 年的兩項發展改變了「訓練分類器」的意義。CLIP [15] 同時訓練一個影像編碼器與一個文字編碼器,讓相符的影像–說明文字對擁有相近的嵌入向量。於是不需要任何標註影像,就能建出新的分類器:把 a photo of a {class} 這類提示文字嵌入,再把每張影像指派給文字嵌入最相似的類別。這就是一個最小距離分類器,只是原型來自語言。DINOv2 [16] 在一個大型、經過篩選的影像集上以自監督方式學習通用視覺特徵,完全不用標籤;它凍結的特徵只要在上面接一個線性層或最近鄰規則,就能做出很強的分類。兩者都把最昂貴的部分,也就是特徵擷取器,只訓練一次;上面的分類器往往正是本章前半的簡單規則之一。

資料擴增與正則化

Shorten 與 Khoshgoftaar 的綜述 [18] 把擴增方法分成基本影像操作(幾何與色彩轉換、核濾波、影像混合、隨機抹除)與學習式方法(對抗式訓練、以 GAN 合成、神經風格轉換、以後設學習搜尋擴增策略)。它的結論和圖 13.9 一致:在標註資料有限時,擴增是降低過擬合最便宜也最有效的方法之一。

評估陷阱與資料集偏差

Torralba 與 Efros [19] 問了一個簡單的問題:分類器能不能分辨一張影像來自哪個資料集?答案是可以,而且遠高於隨機猜測,顯示每個基準資料集都有自己的「指紋」;在一個資料集上訓練的模型,換到另一個資料集時也泛化得很差。Liu 與 He [20] 用現代網路,以及非常大、非常多樣的網路規模資料集重做了這個實驗:現代網路仍能在未見過的影像上高準確率地辨認出來源資料集,而且靠的是可泛化的特徵而不是死背。資料集偏差並沒有因為規模變大而消失。由此有兩個實務結論:在某個基準上的準確率,描述的是那個基準,而不是真實的視覺世界;只要可能,就用與訓練資料獨立蒐集的資料來測試。

如何判讀這些論文的證據

歷史變化不只是換最後分類器。深度模型同時改變表示、預訓練資料與最佳化,基礎特徵又改變標籤、文字如何定義決策。與最小距離或統計分類器比較前,先確認是否共用特徵,否則測到的是整條流程變化。

本導讀的評估研究也檢查證據可靠度:新測試集檢查偏移,修訂標籤檢查歧義、錯誤,重複訓練檢查變異,各自不能涵蓋所有泛化。比較須記錄預訓練重疊、調適資料、選模規則與標籤慣例;架構年表不能證明哪個元件造成準確率進步。

參考文獻

  1. R. C. Gonzalez and R. E. Woods, Digital Image Processing, 4th ed., Pearson, 2018, Ch. 13. publisher page
  2. A. K. Jain, R. P. W. Duin, and J. Mao, “Statistical Pattern Recognition: A Review,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 22, no. 1, pp. 4–37, 2000. doi:10.1109/34.824819
  3. D. G. Lowe, “Distinctive Image Features from Scale-Invariant Keypoints,” International Journal of Computer Vision, vol. 60, 2004. doi:10.1023/B:VISI.0000029664.99615.94
  4. F. Rosenblatt, “The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain,” Psychological Review, vol. 65, 1958. doi:10.1037/h0042519
  5. D. E. Rumelhart, G. E. Hinton, and R. J. Williams, “Learning Representations by Back-Propagating Errors,” Nature, vol. 323, 1986. doi:10.1038/323533a0
  6. Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner, “Gradient-Based Learning Applied to Document Recognition,” Proceedings of the IEEE, vol. 86, 1998. doi:10.1109/5.726791
  7. A. Krizhevsky, I. Sutskever, and G. E. Hinton, “ImageNet Classification with Deep Convolutional Neural Networks,” Advances in Neural Information Processing Systems 25 (NIPS), 2012. paper
  8. K. Simonyan and A. Zisserman, “Very Deep Convolutional Networks for Large-Scale Image Recognition,” arXiv:1409.1556, 2014. arXiv
  9. K. He, X. Zhang, S. Ren, and J. Sun, “Deep Residual Learning for Image Recognition,” arXiv:1512.03385, 2015. arXiv
  10. O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, et al., “ImageNet Large Scale Visual Recognition Challenge,” arXiv:1409.0575, 2014. arXiv
  11. W. Rawat and Z. Wang, “Deep Convolutional Neural Networks for Image Classification: A Comprehensive Review,” Neural Computation, vol. 29, no. 9, 2017. doi:10.1162/neco_a_00990
  12. A. Dosovitskiy, L. Beyer, A. Kolesnikov, et al., “An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale,” ICLR, 2021. arXiv
  13. S. Khan, M. Naseer, M. Hayat, S. W. Zamir, F. S. Khan, and M. Shah, “Transformers in Vision: A Survey,” ACM Computing Surveys, 2022. arXiv
  14. Z. Liu, H. Mao, C.-Y. Wu, C. Feichtenhofer, T. Darrell, and S. Xie, “A ConvNet for the 2020s,” CVPR, 2022. arXiv
  15. A. Radford, J. W. Kim, C. Hallacy, A. Ramesh, G. Goh, et al., “Learning Transferable Visual Models From Natural Language Supervision,” arXiv:2103.00020, 2021. arXiv
  16. M. Oquab, T. Darcet, T. Moutakanni, et al., “DINOv2: Learning Robust Visual Features without Supervision,” arXiv:2304.07193, 2023. arXiv
  17. N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever, and R. Salakhutdinov, “Dropout: A Simple Way to Prevent Neural Networks from Overfitting,” Journal of Machine Learning Research, vol. 15, pp. 1929–1958, 2014. JMLR
  18. C. Shorten and T. M. Khoshgoftaar, “A Survey on Image Data Augmentation for Deep Learning,” Journal of Big Data, vol. 6, 2019. doi:10.1186/s40537-019-0197-0
  19. A. Torralba and A. A. Efros, “Unbiased Look at Dataset Bias,” CVPR, 2011. paper page
  20. Z. Liu and K. He, “A Decade’s Battle on Dataset Bias: Are We There Yet?,” ICLR, 2025. arXiv