Shannon:通訊的數學理論
選讀・ML 01B・機率與資訊理論 的論文導讀(第 1/1 篇)。引用編號對應本頁底部的參考文獻。
導覽:本頁與本系列: 導覽:本頁與本系列
問題與論點
來源能產生多少資訊,通道又能多可靠地傳遞?Shannon 把通訊表述為恢復從多個可能訊息中選出的訊息,刻意把工程問題與語意意義分開 [5]。對 ML 讀者而言,貢獻是描述不確定性、相依與編碼成本的語言。這篇不提出分類器,也沒有主張高熵表示必然有助預測。
方法與圖解

對離散隨機變數 ,以 索引可能值、 表示機率,位元單位的熵為:
總和涵蓋各結果; 以極限定義。Shannon 由連續性、等可能選項越多則不確定性越大,以及把選擇拆成連續步驟時應保持一致,說明此形式。對數底數決定單位,不改變比較的本質。
由左至右讀圖 1:發送器改變訊息表示,通道可能擾動傳送訊號,接收器則嘗試恢復。因此來源不確定性與通道雜訊是不同對象。條件熵描述知道另一變數後仍剩下的不確定性。重複或可預測的符號,不必像同一字母表中的獨立均勻符號那樣帶來許多新資訊。
證據與論證
定理 2 在明列要求下推得熵的形式。編碼定理再把定義連到操作上的限制:定理 9 連結離散來源每符號的位元熵,與無雜訊通道每秒的位元容量。後面的含雜訊通道論證,在相應速率條件下建立錯誤可任意小的編碼系統之存在性。這些是帶有假設與漸近構造的數學主張,不是學習網路的基準準確率。
設計分析
單位與來源模型很重要。每符號位元與每秒位元,必須透過符號速率才能比較。同樣地,邊際符號熵通常不等於相依序列的熵率。證明使用長訊息區塊與可能編碼集合推論,不保證每個有限訊息都有簡短、低成本且達到界限的編碼器。
在學習中,可把交叉熵理解為使用模型編碼機率的期望成本。這有助理解概似損失,但擬合訓練估計後,仍須另外評估泛化與機率校準。
閱讀檢查點
比較永遠輸出同一符號的來源,與公平的二元來源。把各自機率代入熵公式,指出數字描述哪種不確定性。再解釋:加入獨立雜訊,為何可能增加不確定性,卻沒有增加對目標標籤有用的資訊?
限制與下一步
本導讀涵蓋離散不確定性與編碼論證,並非修正版重印本中的所有連續通道結果。Shannon 明確排除語意;熵本身無法評定訊息的真實性、用途或意義。學得的估計器還有理想定義未包含的有限資料與建模誤差。接著讀本章交叉熵與 KL,持續區分真實分布、擬合分布與經驗樣本平均。
接著閱讀: ML 01B・回到章節
參考文獻
- I. Goodfellow, Y. Bengio and A. Courville, Deep Learning, MIT Press, 2016, ch. 3 “Probability and Information Theory”. Book
- C. M. Bishop and H. Bishop, Deep Learning: Foundations and Concepts, Springer, 2024. Book
- K. P. Murphy, Probabilistic Machine Learning: An Introduction, MIT Press, 2022. Book
- M. P. Deisenroth, A. A. Faisal and C. S. Ong, Mathematics for Machine Learning, Cambridge University Press, 2020. Book
- C. E. Shannon, “A Mathematical Theory of Communication,” Bell System Technical Journal, vol. 27, pp. 379–423, 1948. DOI
- S. Kullback and R. A. Leibler, “On Information and Sufficiency,” The Annals of Mathematical Statistics, vol. 22, pp. 79–86, 1951. DOI
- T. M. Cover and J. A. Thomas, Elements of Information Theory, 2nd ed., Wiley, 2006. DOI
- D. P. Kingma and M. Welling, “Auto-Encoding Variational Bayes,” in Proc. International Conference on Learning Representations (ICLR), 2014. arXiv
- G. Papamakarios, E. Nalisnick, D. J. Rezende, S. Mohamed and B. Lakshminarayanan, “Normalizing Flows for Probabilistic Modeling and Inference,” Journal of Machine Learning Research, vol. 22, no. 57, pp. 1–64, 2021. arXiv
- D. M. Blei, A. Kucukelbir and J. D. McAuliffe, “Variational Inference: A Review for Statisticians,” Journal of the American Statistical Association, vol. 112, no. 518, pp. 859–877, 2017. DOI
- C. Guo, G. Pleiss, Y. Sun and K. Q. Weinberger, “On Calibration of Modern Neural Networks,” ICML, 2017. arXiv
- C. Wang, “Calibration in Deep Learning: A Survey of the State-of-the-Art,” arXiv:2308.01222, 2023 (revised 2025). arXiv
- M. Abdar et al., “A Review of Uncertainty Quantification in Deep Learning: Techniques, Applications and Challenges,” Information Fusion, vol. 76, pp. 243–297, 2021. DOI
- J. Gawlikowski et al., “A Survey of Uncertainty in Deep Neural Networks,” Artificial Intelligence Review, vol. 56, pp. 1513–1589, 2023. DOI
- B. Lakshminarayanan, A. Pritzel and C. Blundell, “Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles,” NeurIPS (NIPS), 2017. arXiv
- Y. Ovadia et al., “Can You Trust Your Model’s Uncertainty? Evaluating Predictive Uncertainty Under Dataset Shift,” NeurIPS, 2019. arXiv
- A. N. Angelopoulos and S. Bates, “A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification,” arXiv:2107.07511, 2021. arXiv
- A. van den Oord, Y. Li and O. Vinyals, “Representation Learning with Contrastive Predictive Coding,” arXiv:1807.03748, 2018. arXiv
- B. Poole, S. Ozair, A. van den Oord, A. A. Alemi and G. Tucker, “On Variational Bounds of Mutual Information,” ICML, 2019. arXiv
- M. Tschannen, J. Djolonga, P. K. Rubenstein, S. Gelly and M. Lucic, “On Mutual Information Maximization for Representation Learning,” ICLR, 2020. arXiv