完整搜尋頁面 →

PCA:Jolliffe 與 Cadima 的綜述

選讀・ML 01A・學習所需的線性代數 的論文導讀(第 1/1 篇)。引用編號對應本頁底部的參考文獻。

導覽:本頁與本系列: 導覽:本頁與本系列

問題與論點

如何摘要多個相關量測,同時避免不知不覺改變資料的意義?Jolliffe 與 Cadima 把 PCA 整理為自適應的線性表示:座標軸由觀測的共變異結構決定,而非事先指定 [11]。重要區分是「最佳保留變異的投影」與「有科學意義的解釋」;兩者可能一致,但前者不能證明後者。先掌握本章的置中矩陣、特徵向量與 SVD。

方法與圖解

各編號點代表投影到兩個主成分的化石牙齒;座標軸正負可任意翻轉,保留變異不等於確立物種標籤。
來源:Jolliffe and Cadima, Philosophical Transactions A 374, 2016; Europe PMC published copy. 圖 1,PDF 第 5 頁。各編號點代表投影到兩個主成分的化石牙齒;座標軸正負可任意翻轉,保留變異不等於確立物種標籤。 [11]

對具有 nn 列、dd 個量測變數的置中資料矩陣 XX,定義樣本共變異數 S=X⊤X/(n−1)S=X^\top X/(n-1)。第一個負荷向量解下列問題:

a1=arg⁡max⁡∥a∥2=1a⊤Sa.a_1=\arg\max_{\lVert a\rVert_2=1}a^\top Sa.

aa 是 dd 維變數空間中的方向;最佳向量 a1a_1 是 SS 最大特徵值對應的特徵向量,Xa1Xa_1 則是觀測的分數。後續負荷向量在正交限制下最大化剩餘變異。負荷是方向,分數是觀測沿該方向的座標。

SVD 把變異最大化連到固定秩下的最小平方重建誤差。等價關係適用於指定的線性、置中幾何,不表示低變異方向對所有下游任務都無關。圖 1 畫的是分數,不是負荷係數;編號觀測也不是學得的類別。

證據

綜述以 88 顆化石牙齒的九項量測示範。前兩個成分分別解釋 78.8% 與 16.7% 的變異,因此二維顯示在本文的變異準則下是良好近似。第一成分主要解釋為整體大小,第二成分對比長度與高度、寬度。生物分組是此案例的解釋,不是監督式分類結果,也不保證適用於其他標本。

設計分析

使用共變異數矩陣還是相關矩陣,是實質設計選擇。標準化讓各變數具有單位變異,會改變幾何,不只是無害的顯示調整。綜述也討論以部分變異最佳性換取可解釋性,或適應不同資料結構的變體。應把它們視為不同目標與假設,不是普通 PCA 的通用最佳替代品。

閱讀檢查點

給定一個負荷向量與置中量測,算出某觀測的分數。反轉向量正負,解釋為何座標軸翻轉但重建不變。再思考:把變異很小、卻充滿雜訊的變數標準化,會改善分析,還是放大不重要的方向?

限制與下一步

PCA 是線性的,也對尺度與離群值敏感。不相關的分數不必統計獨立,大量解釋變異也不必保留類別資訊或因果因素。這篇提供幾何論證與應用案例,不是控制條件下的排行榜競賽。接著讀 ML 06A 的機率式 PCA,理解投影加入明確觀測雜訊、成為概似模型後改變了什麼。

接著閱讀: Probabilistic PCA:子空間背後的機率模型

參考文獻

  1. I. Goodfellow, Y. Bengio and A. Courville, Deep Learning, MIT Press, 2016, ch. 2 “Linear Algebra”. Book
  2. M. P. Deisenroth, A. A. Faisal and C. S. Ong, Mathematics for Machine Learning, Cambridge University Press, 2020. Book
  3. G. Strang, Introduction to Linear Algebra, 6th ed., Wellesley-Cambridge Press, 2023. Book site
  4. G. H. Golub and C. F. Van Loan, Matrix Computations, 4th ed., Johns Hopkins University Press, 2013. DOI
  5. L. N. Trefethen and D. Bau III, Numerical Linear Algebra, SIAM, 1997. DOI
  6. C. Eckart and G. Young, “The Approximation of One Matrix by Another of Lower Rank,” Psychometrika, vol. 1, pp. 211–218, 1936. DOI
  7. R. Penrose, “A Generalized Inverse for Matrices,” Mathematical Proceedings of the Cambridge Philosophical Society, vol. 51, pp. 406–413, 1955. DOI
  8. A. E. Hoerl and R. W. Kennard, “Ridge Regression: Biased Estimation for Nonorthogonal Problems,” Technometrics, vol. 12, pp. 55–67, 1970. DOI
  9. K. Pearson, “On Lines and Planes of Closest Fit to Systems of Points in Space,” The London, Edinburgh, and Dublin Philosophical Magazine and Journal of Science, vol. 2, pp. 559–572, 1901. DOI
  10. H. Hotelling, “Analysis of a Complex of Statistical Variables into Principal Components,” Journal of Educational Psychology, vol. 24, pp. 417–441, 1933. DOI
  11. I. T. Jolliffe and J. Cadima, “Principal Component Analysis: A Review and Recent Developments,” Philosophical Transactions of the Royal Society A, vol. 374, 20150202, 2016. DOI
  12. N. Halko, P.-G. Martinsson and J. A. Tropp, “Finding Structure with Randomness: Probabilistic Algorithms for Constructing Approximate Matrix Decompositions,” SIAM Review, vol. 53, no. 2, pp. 217–288, 2011. DOI · arXiv
  13. P.-G. Martinsson and J. A. Tropp, “Randomized Numerical Linear Algebra: Foundations and Algorithms,” Acta Numerica, vol. 29, pp. 403–572, 2020. DOI · arXiv
  14. R. Murray, J. Demmel, M. W. Mahoney, N. B. Erichson, M. Melnichenko, O. A. Malik, L. Grigori, P. Luszczek, M. Dereziński, M. E. Lopes, T. Liang, H. Luo and J. Dongarra, “Randomized Numerical Linear Algebra: A Perspective on the Field With an Eye to Software,” LAPACK Working Note 299, 2023. arXiv
  15. E. J. Hu, Y. Shen, P. Wallis, Z. Allen-Zhu, Y. Li, S. Wang, L. Wang and W. Chen, “LoRA: Low-Rank Adaptation of Large Language Models,” in Proc. International Conference on Learning Representations (ICLR), 2022. arXiv
  16. J. Zhao, Z. Zhang, B. Chen, Z. Wang, A. Anandkumar and Y. Tian, “GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection,” ICML, 2024. arXiv
  17. T. Miyato, T. Kataoka, M. Koyama and Y. Yoshida, “Spectral Normalization for Generative Adversarial Networks,” ICLR, 2018. arXiv
  18. T. G. Kolda and B. W. Bader, “Tensor Decompositions and Applications,” SIAM Review, vol. 51, no. 3, pp. 455–500, 2009. DOI
  19. C. M. Bishop and H. Bishop, Deep Learning: Foundations and Concepts, Springer, 2024. Book