PCA:Jolliffe 與 Cadima 的綜述
選讀・ML 01A・學習所需的線性代數 的論文導讀(第 1/1 篇)。引用編號對應本頁底部的參考文獻。
導覽:本頁與本系列: 導覽:本頁與本系列
問題與論點
如何摘要多個相關量測,同時避免不知不覺改變資料的意義?Jolliffe 與 Cadima 把 PCA 整理為自適應的線性表示:座標軸由觀測的共變異結構決定,而非事先指定 [11]。重要區分是「最佳保留變異的投影」與「有科學意義的解釋」;兩者可能一致,但前者不能證明後者。先掌握本章的置中矩陣、特徵向量與 SVD。
方法與圖解

對具有 列、 個量測變數的置中資料矩陣 ,定義樣本共變異數 。第一個負荷向量解下列問題:
是 維變數空間中的方向;最佳向量 是 最大特徵值對應的特徵向量, 則是觀測的分數。後續負荷向量在正交限制下最大化剩餘變異。負荷是方向,分數是觀測沿該方向的座標。
SVD 把變異最大化連到固定秩下的最小平方重建誤差。等價關係適用於指定的線性、置中幾何,不表示低變異方向對所有下游任務都無關。圖 1 畫的是分數,不是負荷係數;編號觀測也不是學得的類別。
證據
綜述以 88 顆化石牙齒的九項量測示範。前兩個成分分別解釋 78.8% 與 16.7% 的變異,因此二維顯示在本文的變異準則下是良好近似。第一成分主要解釋為整體大小,第二成分對比長度與高度、寬度。生物分組是此案例的解釋,不是監督式分類結果,也不保證適用於其他標本。
設計分析
使用共變異數矩陣還是相關矩陣,是實質設計選擇。標準化讓各變數具有單位變異,會改變幾何,不只是無害的顯示調整。綜述也討論以部分變異最佳性換取可解釋性,或適應不同資料結構的變體。應把它們視為不同目標與假設,不是普通 PCA 的通用最佳替代品。
閱讀檢查點
給定一個負荷向量與置中量測,算出某觀測的分數。反轉向量正負,解釋為何座標軸翻轉但重建不變。再思考:把變異很小、卻充滿雜訊的變數標準化,會改善分析,還是放大不重要的方向?
限制與下一步
PCA 是線性的,也對尺度與離群值敏感。不相關的分數不必統計獨立,大量解釋變異也不必保留類別資訊或因果因素。這篇提供幾何論證與應用案例,不是控制條件下的排行榜競賽。接著讀 ML 06A 的機率式 PCA,理解投影加入明確觀測雜訊、成為概似模型後改變了什麼。
接著閱讀: Probabilistic PCA:子空間背後的機率模型
參考文獻
- I. Goodfellow, Y. Bengio and A. Courville, Deep Learning, MIT Press, 2016, ch. 2 “Linear Algebra”. Book
- M. P. Deisenroth, A. A. Faisal and C. S. Ong, Mathematics for Machine Learning, Cambridge University Press, 2020. Book
- G. Strang, Introduction to Linear Algebra, 6th ed., Wellesley-Cambridge Press, 2023. Book site
- G. H. Golub and C. F. Van Loan, Matrix Computations, 4th ed., Johns Hopkins University Press, 2013. DOI
- L. N. Trefethen and D. Bau III, Numerical Linear Algebra, SIAM, 1997. DOI
- C. Eckart and G. Young, “The Approximation of One Matrix by Another of Lower Rank,” Psychometrika, vol. 1, pp. 211–218, 1936. DOI
- R. Penrose, “A Generalized Inverse for Matrices,” Mathematical Proceedings of the Cambridge Philosophical Society, vol. 51, pp. 406–413, 1955. DOI
- A. E. Hoerl and R. W. Kennard, “Ridge Regression: Biased Estimation for Nonorthogonal Problems,” Technometrics, vol. 12, pp. 55–67, 1970. DOI
- K. Pearson, “On Lines and Planes of Closest Fit to Systems of Points in Space,” The London, Edinburgh, and Dublin Philosophical Magazine and Journal of Science, vol. 2, pp. 559–572, 1901. DOI
- H. Hotelling, “Analysis of a Complex of Statistical Variables into Principal Components,” Journal of Educational Psychology, vol. 24, pp. 417–441, 1933. DOI
- I. T. Jolliffe and J. Cadima, “Principal Component Analysis: A Review and Recent Developments,” Philosophical Transactions of the Royal Society A, vol. 374, 20150202, 2016. DOI
- N. Halko, P.-G. Martinsson and J. A. Tropp, “Finding Structure with Randomness: Probabilistic Algorithms for Constructing Approximate Matrix Decompositions,” SIAM Review, vol. 53, no. 2, pp. 217–288, 2011. DOI · arXiv
- P.-G. Martinsson and J. A. Tropp, “Randomized Numerical Linear Algebra: Foundations and Algorithms,” Acta Numerica, vol. 29, pp. 403–572, 2020. DOI · arXiv
- R. Murray, J. Demmel, M. W. Mahoney, N. B. Erichson, M. Melnichenko, O. A. Malik, L. Grigori, P. Luszczek, M. Dereziński, M. E. Lopes, T. Liang, H. Luo and J. Dongarra, “Randomized Numerical Linear Algebra: A Perspective on the Field With an Eye to Software,” LAPACK Working Note 299, 2023. arXiv
- E. J. Hu, Y. Shen, P. Wallis, Z. Allen-Zhu, Y. Li, S. Wang, L. Wang and W. Chen, “LoRA: Low-Rank Adaptation of Large Language Models,” in Proc. International Conference on Learning Representations (ICLR), 2022. arXiv
- J. Zhao, Z. Zhang, B. Chen, Z. Wang, A. Anandkumar and Y. Tian, “GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection,” ICML, 2024. arXiv
- T. Miyato, T. Kataoka, M. Koyama and Y. Yoshida, “Spectral Normalization for Generative Adversarial Networks,” ICLR, 2018. arXiv
- T. G. Kolda and B. W. Bader, “Tensor Decompositions and Applications,” SIAM Review, vol. 51, no. 3, pp. 455–500, 2009. DOI
- C. M. Bishop and H. Bishop, Deep Learning: Foundations and Concepts, Springer, 2024. Book