完整搜尋頁面 →

Shannon:通訊的數學理論

選讀・ML 01B・機率與資訊理論 的論文導讀(第 1/1 篇)。引用編號對應本頁底部的參考文獻。

導覽:本頁與本系列: 導覽:本頁與本系列

問題與論點

來源能產生多少資訊,通道又能多可靠地傳遞?Shannon 把通訊表述為恢復從多個可能訊息中選出的訊息,刻意把工程問題與語意意義分開 [5]。對 ML 讀者而言,貢獻是描述不確定性、相依與編碼成本的語言。這篇不提出分類器,也沒有主張高熵表示必然有助預測。

方法與圖解

來源、發送器、含雜訊通道、接收器與目的端各有不同作用;熵描述訊息的不確定性,不衡量語意重要性。
來源:Shannon 1948; corrected reprint of both Bell System Technical Journal parts, hosted at Harvard. 圖 1,PDF 第 2 頁。來源、發送器、含雜訊通道、接收器與目的端各有不同作用;熵描述訊息的不確定性,不衡量語意重要性。 [5]

對離散隨機變數 XX,以 ii 索引可能值、pip_i 表示機率,位元單位的熵為:

H(X)=−∑ipilog⁡2pi.H(X)=-\sum_i p_i\log_2 p_i.

總和涵蓋各結果;0log⁡20=00\log_2 0=0 以極限定義。Shannon 由連續性、等可能選項越多則不確定性越大,以及把選擇拆成連續步驟時應保持一致,說明此形式。對數底數決定單位,不改變比較的本質。

由左至右讀圖 1:發送器改變訊息表示,通道可能擾動傳送訊號,接收器則嘗試恢復。因此來源不確定性與通道雜訊是不同對象。條件熵描述知道另一變數後仍剩下的不確定性。重複或可預測的符號,不必像同一字母表中的獨立均勻符號那樣帶來許多新資訊。

證據與論證

定理 2 在明列要求下推得熵的形式。編碼定理再把定義連到操作上的限制:定理 9 連結離散來源每符號的位元熵,與無雜訊通道每秒的位元容量。後面的含雜訊通道論證,在相應速率條件下建立錯誤可任意小的編碼系統之存在性。這些是帶有假設與漸近構造的數學主張,不是學習網路的基準準確率。

設計分析

單位與來源模型很重要。每符號位元與每秒位元,必須透過符號速率才能比較。同樣地,邊際符號熵通常不等於相依序列的熵率。證明使用長訊息區塊與可能編碼集合推論,不保證每個有限訊息都有簡短、低成本且達到界限的編碼器。

在學習中,可把交叉熵理解為使用模型編碼機率的期望成本。這有助理解概似損失,但擬合訓練估計後,仍須另外評估泛化與機率校準。

閱讀檢查點

比較永遠輸出同一符號的來源,與公平的二元來源。把各自機率代入熵公式,指出數字描述哪種不確定性。再解釋:加入獨立雜訊,為何可能增加不確定性,卻沒有增加對目標標籤有用的資訊?

限制與下一步

本導讀涵蓋離散不確定性與編碼論證,並非修正版重印本中的所有連續通道結果。Shannon 明確排除語意;熵本身無法評定訊息的真實性、用途或意義。學得的估計器還有理想定義未包含的有限資料與建模誤差。接著讀本章交叉熵與 KL,持續區分真實分布、擬合分布與經驗樣本平均。

接著閱讀: ML 01B・回到章節

參考文獻

  1. I. Goodfellow, Y. Bengio and A. Courville, Deep Learning, MIT Press, 2016, ch. 3 “Probability and Information Theory”. Book
  2. C. M. Bishop and H. Bishop, Deep Learning: Foundations and Concepts, Springer, 2024. Book
  3. K. P. Murphy, Probabilistic Machine Learning: An Introduction, MIT Press, 2022. Book
  4. M. P. Deisenroth, A. A. Faisal and C. S. Ong, Mathematics for Machine Learning, Cambridge University Press, 2020. Book
  5. C. E. Shannon, “A Mathematical Theory of Communication,” Bell System Technical Journal, vol. 27, pp. 379–423, 1948. DOI
  6. S. Kullback and R. A. Leibler, “On Information and Sufficiency,” The Annals of Mathematical Statistics, vol. 22, pp. 79–86, 1951. DOI
  7. T. M. Cover and J. A. Thomas, Elements of Information Theory, 2nd ed., Wiley, 2006. DOI
  8. D. P. Kingma and M. Welling, “Auto-Encoding Variational Bayes,” in Proc. International Conference on Learning Representations (ICLR), 2014. arXiv
  9. G. Papamakarios, E. Nalisnick, D. J. Rezende, S. Mohamed and B. Lakshminarayanan, “Normalizing Flows for Probabilistic Modeling and Inference,” Journal of Machine Learning Research, vol. 22, no. 57, pp. 1–64, 2021. arXiv
  10. D. M. Blei, A. Kucukelbir and J. D. McAuliffe, “Variational Inference: A Review for Statisticians,” Journal of the American Statistical Association, vol. 112, no. 518, pp. 859–877, 2017. DOI
  11. C. Guo, G. Pleiss, Y. Sun and K. Q. Weinberger, “On Calibration of Modern Neural Networks,” ICML, 2017. arXiv
  12. C. Wang, “Calibration in Deep Learning: A Survey of the State-of-the-Art,” arXiv:2308.01222, 2023 (revised 2025). arXiv
  13. M. Abdar et al., “A Review of Uncertainty Quantification in Deep Learning: Techniques, Applications and Challenges,” Information Fusion, vol. 76, pp. 243–297, 2021. DOI
  14. J. Gawlikowski et al., “A Survey of Uncertainty in Deep Neural Networks,” Artificial Intelligence Review, vol. 56, pp. 1513–1589, 2023. DOI
  15. B. Lakshminarayanan, A. Pritzel and C. Blundell, “Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles,” NeurIPS (NIPS), 2017. arXiv
  16. Y. Ovadia et al., “Can You Trust Your Model’s Uncertainty? Evaluating Predictive Uncertainty Under Dataset Shift,” NeurIPS, 2019. arXiv
  17. A. N. Angelopoulos and S. Bates, “A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification,” arXiv:2107.07511, 2021. arXiv
  18. A. van den Oord, Y. Li and O. Vinyals, “Representation Learning with Contrastive Predictive Coding,” arXiv:1807.03748, 2018. arXiv
  19. B. Poole, S. Ozair, A. van den Oord, A. A. Alemi and G. Tucker, “On Variational Bounds of Mutual Information,” ICML, 2019. arXiv
  20. M. Tschannen, J. Djolonga, P. K. Rubenstein, S. Gelly and M. Lucic, “On Mutual Information Maximization for Representation Learning,” ICLR, 2020. arXiv