IT 01・熵、相對熵與互資訊
先備知識:ML 01B・機率與資訊理論
導覽:本頁與本系列: 導覽:本頁與本系列
本頁內容
資訊理論
你將學到
- 為什麼對數能把機率轉成可相加的驚訝程度。
- 計算熵、條件熵、相對熵與互資訊。
- 推導鏈式法則,辨認基本不等式何時取等號。
- 解釋處理能丟棄、保留或增加什麼,不把隨機性混同於資訊。
- 用有限機率表與完整 CPU 範例檢查資訊恆等式。
- 區分母體資訊量、經驗估計與學習目標。
先看全貌
感測器傳送一串量測,有些值可預測,有些出乎意料。壓縮器利用可預測性;接收者則需要能減少目標不確定性的量測。這兩種價值相關,但不相同。一串非常隨機的訊號,也可能幾乎沒有關於場景的有用證據。
本主線以 Thomas M. Cover 與 Joy A. Thomas 的 Elements of Information Theory 第 2 版為核心 [1]。這些資訊量有實際意義:熵連到壓縮,互資訊連到通訊限制,相對熵則把機率失配連到額外描述長度與統計辨別。我們先從有限字母集合開始,讓每個量都能逐項相加檢查。
Stanford 熵講義 [2] 提供易讀的配套說明。本章使用明確合成機率模型,讓定義與數值檢查可以直接逐項確認。
主線如何銜接
| 教學 | 核心問題 | 第 2 版主要章節 |
|---|---|---|
| IT 01 | 資訊到底量測什麼? | 1–2,以及 17 的基本工具 |
| IT 02 | 為什麼長序列的整體行為較可預測? | 3–4 |
| IT 03 | 如何縮短描述而不丟失符號? | 5、13–14 |
| IT 04 | 有雜訊的通道能可靠傳多少資訊? | 7 |
| IT 05 | 連續與高斯變數有何不同? | 8–9 |
| IT 06 | 容許失真時需要多少位元率? | 10 |
| IT 07 | 資訊量如何支援推論與決策? | 6、11–12、16 |
| IT 08 | 多使用者、限制與學習帶來什麼改變? | 15,以及 17 的進階工具 |
這種分組涵蓋全書主要主題,但不表示每個定理都能用短推導完整處理。先理解定義,再做數值檢查,最後閱讀證明。計算不清楚時,先明列機率表,再加入神經估計器或通訊系統。
隨機變數、結果與機率模型
隨機變數描述觀測前可能發生什麼。機率來自對實驗的模型。同一個觀測值,在某個模型下罕見,在另一模型下可能很普通。
令 的值來自有限字母集合 :
是隨機變數, 是一個可能結果, 是結果集合, 是機率質量函數, 表示機率。聯合分布 為成對結果指定機率,邊際分布由加總取得:
是另一有限隨機變數, 是其結果, 是邊際機率質量函數。若 ,條件機率為 。零機率事件需要另外處理;它不會貢獻以下有限加總。
未特別說明時,對數以二為底,單位是 bit(位元)。自然對數對應 nat;把 nat 數值除以 可換成 bit。bit 是資訊單位,不一定等於某種檔案格式實際儲存的一個二進位數字。
比較分布時,先固定實驗。一個模型描述灰階值,另一個描述整張影像,兩者熵不能直接比較。改變變數、字母集合、量化或已知條件,都是改變問題。
對數讓驚訝程度可以相加
越罕見的結果,驚訝程度越高。兩個獨立觀測應帶來各自驚訝程度的總和;對數讓加法與機率乘法一致。
定義某結果的自資訊(self-information):
是模型 下,結果 的驚訝程度。獨立結果的機率若為 和 ,聯合機率是 ,因此 。等可能結果數加倍,資訊量增加一 bit,而非變成兩倍。
機率一的結果沒有驚訝;機率 的結果有三 bit。這些描述的是觀測前的機率模型;罕見符號不一定具有較高的實際任務價值。
若模型對實際出現的結果給零機率,自資訊就是無限大。預測應用中,這可能表示支撐集合錯誤:模型宣稱實際可能發生的事件不可能。加入很小的數值常數會改變模型;它可能有用,但不是原分布的計算。
平均驚訝程度就是熵(entropy):
是 的熵, 依其分布取平均。約定 來自極限;從不出現的結果不貢獻平均。
因此熵是分布的性質,不是某個已實現樣本的性質。平均熵很小的分布,也可能偶爾產生高驚訝結果。影像具有顯眼圖案,也仍可能被合適的機率模型輕易預測。
熵的界限與二元例子
結果確定時,不確定性為零。可能結果數固定時,所有結果等機率會使不確定性最大。
若字母集合有 個值:
是集合大小。集中在單一結果的分布達到下界;均勻分布達到上界。若只有 個結果具有正機率,更緊的上界是 。
二元變數的結果一有機率 時:
是二元熵函數,。曲線關於 對稱,最大值是一 bit,接近兩端時趨近零。偏斜來源比公平來源容易預測,即使兩者都只有兩種符號。

熵對分布是凹函數。混合兩個來源分布、卻隱藏選了哪個來源,熵不會低於個別熵的加權平均。揭露來源選擇可能消除部分增加的不確定性,因此混合來源常比個別來源更難預測。
最大熵界限也能用與均勻模型的相對熵證明。稍後同一非負性論證,還會說明為什麼條件降低平均熵,以及互資訊為什麼不能為負。
聯合熵與鏈式法則
一起描述兩個變數,可能比各自獨立描述便宜。知道第一個後,共享結構可能讓第二個更容易預測。
聯合熵為
量測成對變數 的不確定性。條件熵為
是已知 後,對 的平均剩餘不確定性;每個條件分布的熵,依對應 的機率加權。
利用 ,可得
每一項必須來自同一聯合模型。乘積取對數產生兩項,第一項對 加總後留下 。這說明恆等式的來源,不只是要背的公式。
對序列 :
是變數數量, 是序列索引;第一項沒有條件變數。此法則不需要獨立假設。若獨立,每個條件熵等於邊際熵,聯合熵就是總和。
影像中,直方圖只描述邊際像素頻率,丟掉空間相依性。兩張影像的直方圖相同,知道鄰近像素後的可預測性卻可能很不同。序列模型決定這些相依性是否能縮短描述。
條件平均有幫助,不代表每種結果都如此
知道另一變數,不會使最佳平均預測變差。但某個特定觀測,可能揭露你正處在特別不確定的情況。
第一式比較平均條件不確定性與邊際不確定性;第二式由鏈式法則得到。 和 獨立時取等號。
「平均」很重要。假設大部分日子感測器固定輸出零,少數診斷日輸出公平二元結果。知道今天是診斷日,反而比邊際混合分布更不確定。但平均正常日與診斷日後,知道日子類型仍降低平均不確定性。
加入更多條件時:
是額外資訊。這比較同一固定聯合分布的熵,並不是說有限神經網路多讀輸入就一定泛化更好。最佳化、資料不足與虛假相關,都可能使學得預測器無法達到最佳條件預測。
有限變數的條件熵非負。後續連續變數的微分熵有不同性質;不能不查假設,就把每個有限字母集合不等式套到連續熵。
用數值檢查條件化
讓診斷日例子更具體: 表示診斷日,機率 0.1。平常日 ,診斷日的 是公平位元。因此 的邊際機率為 ,得到 位元。
知道今天是診斷日,會把不確定性提高至 位元;但平均所有日子得到 位元。條件不等式比較的是 0.1 與 0.286397,不是每個個別條件熵與邊際熵。日子標籤平均移除 位元。
相對熵量測機率失配
模型預期錯誤結果,可能浪費描述長度。相對熵以真正產生觀測的分布為方向,量測這種失配。
和 是同一字母集合上的機率質量函數, 是相對熵,也稱 Kullback–Leibler divergence [1]。 的項為零;若 而 ,相對熵無限大。
非負性可由對數凹性得到:
是依 取期望值。第一個不等式是 Jensen 不等式,最後加總不超過一。兩分布一致時取等號。若模型在來源支撐集合外也分配機率,此證明仍成立。
方向重要: 一般不等於 。它不是度量距離,因為不符合對稱及一般三角不等式等要求。口語稱為「距離」,不能據此套用需要真正距離的演算法。
例如公平來源與一個對結果一給 機率的模型。模型往某方向過度自信,會為常出現卻未預期的零付代價。反轉分布,描述的是不同實驗及不同平均懲罰。
對均勻分布 ,展開可得 。非負性給出熵上界,也證明固定有限字母集合上,只有均勻來源達到最大熵。
交叉熵連結預測與編碼
交叉熵用提出的機率模型為觀測打分,包含來源不可避免的不確定性,以及模型不準確的代價。
是交叉熵, 是真實來源熵, 提供預測機率。理想機率編碼中, 是描述長度目標;實際編碼還有整數長度、框架、模型描述與實作成本。
固定、參數改變 時,最小化母體交叉熵等同最小化相對熵。用資料估計時,經驗平均負對數機率是
是觀測數, 是第 個觀測, 是模型參數;帽號表示經驗量。它和母體平均的關係,依觀測取樣方式及是否重用來選模型而定。
分類器對已知特徵的標籤使用條件版本,生成模型則對觀測或序列使用這個觀點。低訓練值描述訓練觀測的擬合,不直接證明未來資料表現。這連到 ML/DL 評估規則。
訓練用自然對數時,loss 單位是 nat。乘正常數會改變梯度尺度,但不改變數學最佳解。比較論文中的數值,須統一單位、正規化方式及預測目標。
計算例:一張表,三種資訊問題
以下是母體模型,每格表示觀察到該點對的機率。它描述兩個公平位元,但兩者相同的機會高於不同的機會。
| 聯合機率 | 列總和 | ||
|---|---|---|---|
| 0.4 | 0.1 | 0.5 | |
| 0.1 | 0.4 | 0.5 | |
| 欄總和 | 0.5 | 0.5 | 1.0 |
各列、欄總和給出邊際機率。兩個邊際都公平,因此 位元。觀察到 後,把該列除以總和 0.5,得到 的條件機率 0.8 與 0.2。另一列把兩者對調,但熵相同。
是二元熵, 平均兩個條件列, 描述點對, 則是知道另一位元後,任一位元減少的不確定性。數值單位都是位元,取至小數第六位;下方程式使用未取整數值計算。
把聯合表與每格都是 0.25 的獨立表比較,也得到同樣互資訊。相同位元格的比值是 ,不同位元格是 ;加權對數比總和為 0.278072。單一格的對數比可以負,平均散度卻仍非負。
接著保留公平單位元來源,但用 0.1、0.9 預測。來源熵仍為一位元,交叉熵則成為 位元,其中 0.736966 位元是模型失配。聯合表問題量測相依性,預測問題量測錯誤模型;兩者都用散度,卻比較不同分布。
這張表也能解釋分類。預測 的正確機率是 0.8,但條件分布仍有 0.721928 位元不確定性。正確率計算決策是否正確,熵評估整個預測分布,兩者不能互相取代。
程式碼:精確機率表檢查
完整 CPU 範例遮掉零機率項,不把它換成小常數。輔助函式也檢查陣列是否為正規化機率。
程式碼 · Python · 36 行
import numpy as np
def probability(a):
a = np.asarray(a, dtype=float)
assert np.all(a >= 0) and np.isclose(a.sum(), 1)
return a
def entropy(a):
a = probability(a)
positive = a > 0
return -np.sum(a[positive] * np.log2(a[positive]))
def divergence(p, q):
p, q = probability(p), probability(q)
assert p.shape == q.shape
positive = p > 0
if np.any(q[positive] == 0):
return np.inf
return np.sum(p[positive] * np.log2(p[positive] / q[positive]))
joint = probability([[0.4, 0.1], [0.1, 0.4]])
px, py = joint.sum(axis=1), joint.sum(axis=0)
independent = np.outer(px, py)
hx, hy, hxy = entropy(px), entropy(py), entropy(joint)
information = divergence(joint, independent)
print("H(X), H(Y), H(X,Y):", hx, hy, hxy)
print("H(Y|X), I(X;Y):", hxy - hx, information)
assert np.isclose(information, hx + hy - hxy)
assert np.isclose(divergence(independent, independent), 0)
p, q = probability([0.5, 0.5]), probability([0.1, 0.9])
cross = -np.sum(p * np.log2(q))
print("Source entropy / cross-entropy / mismatch:",
entropy(p), cross, divergence(p, q))
assert np.isclose(cross, entropy(p) + divergence(p, q))
assert np.isinf(divergence(probability([0.5, 0.5]), probability([0, 1])))這裡的恆等式是在指定母體機率表上檢查。若表來自有限樣本,還多了估計不確定性;代數能精確成立,數值估計卻仍可能不準。
互資訊量測相依性
知道一個變數會改變另一個的預期時,兩者共享資訊。這不只限於線性關係。
是互資訊(mutual information), 是邊際分布乘積。它非負、對稱,且只有獨立時為零。上界是兩個邊際熵中較小者。
相對熵形式問實際成對分布和獨立模型差多少;熵形式問一變數移除另一變數多少平均不確定性。兩觀點一致,但凸顯不同應用。
相關係數較狹窄:零相關一般不能證明獨立。非線性相依可能很強,特定線性摘要卻為零。另一方面,高維互資訊通常比相關係數更難估準。
條件互資訊為
是條件資訊。此量平均各條件分布內的相依性,非負,但可能比無條件 大,也可能較小。
令 與 是獨立公平二元變數, 是同位元。無條件時, 對 沒幫助;已知 後, 就決定 。所以無條件互資訊為零,條件值為一 bit。條件能揭露相依性,不只是減去固定資訊量。
資訊鏈式法則為
是聯合觀測。第二項是已有 後, 額外提供多少資訊。直接相加兩個無條件互資訊,可能重複計入共享證據,或漏掉聯合效果。
互資訊是平均預測改善
利用 展開聯合分布比值,邊際因子抵消,得到
是觀察 後的 條件分布, 是尚未取得該觀測的邊際預測,散度單位為位元。此式把資訊表達成無條件到條件預測的平均改變。
它也證明等號對應獨立。每個條件散度非負,加權總和為零,必須每個正機率 都不改變預測;這正是有限表的獨立條件。計算例中,每個條件列與公平邊際的散度都相同,為 。
對數預測損失下,最佳無條件預測器付出 ,最佳條件預測器付出 ,差就是互資訊。這是最佳母體分布的陳述;擬合預測器可能因資料、容量或最佳化不足,無法實現好處。推導辨認可得預測利益,也說明經驗估計仍需要另外驗證。
資料處理、可逆性與額外隨機性
如果處理只讀目前觀測,就不能創造關於原始來源的新證據。它能增加隨機變動,但變動不等於來源資訊。
Markov 關係 表示
由 產生,不額外讀取 。這推出資料處理不等式(data-processing inequality):
兩邊都是同一 的資訊。這不表示任意隨機處理都有 ;加入獨立雜訊可能增加輸出熵,同時降低輸入資訊。
一個有用證明是以兩種順序展開 。Markov 關係使 ;另一順序包含非負的 ,所以 。取等號表示 沒有丟掉 原本提供的相關 資訊。
確定性轉換滿足 ,因為它合併可能結果。在支撐集合上一對一,就不損失不確定性。任一變數做可逆轉換,也保留互資訊;多對一量化則可能丟掉相依性。

程式碼:處理與同位元
第二個獨立範例建立完整三變數機率表,不使用學得估計器,直接檢查不等式與同位元例子。
程式碼 · Python · 28 行
import numpy as np
def entropy(p):
p = np.asarray(p, dtype=float)
assert np.all(p >= 0) and np.isclose(p.sum(), 1)
q = p[p > 0]
return -np.sum(q * np.log2(q))
def mutual(joint):
return entropy(joint.sum(axis=1)) + entropy(joint.sum(axis=0)) - entropy(joint)
pxy = np.array([[0.4, 0.1], [0.1, 0.4]])
channel = np.array([[0.85, 0.15], [0.15, 0.85]])
pxyz = pxy[:, :, None] * channel[None, :, :]
pxz = pxyz.sum(axis=1)
print("Before / after processing:", mutual(pxy), mutual(pxz))
assert mutual(pxz) <= mutual(pxy) + 1e-12
parity = np.zeros((2, 2, 2))
for x in range(2):
for y in range(2):
parity[x, y, x ^ y] = 0.25
pxz, pyz = parity.sum(axis=1), parity.sum(axis=0)
pz = parity.sum(axis=(0, 1))
conditional = entropy(pxz) + entropy(pyz) - entropy(pz) - entropy(parity)
print("Parity I(X;Y) / I(X;Y|Z):",
mutual(parity.sum(axis=2)), conditional)
assert np.isclose(conditional, 1)估計互資訊違反資料處理時,可能原因包括取樣誤差、不同估計器偏差或 Markov 假設不成立;精確定理本身沒有失效。
估計不只是套恆等式
計算觀測次數容易,判斷未見結果還有多少機率卻不容易。大字母集合與強相依,會讓資訊估計脆弱。
個觀測中,結果 出現 次,經驗分布與 plug-in 熵為
是該結果計數, 是總數,帽號表示估計。未見結果的經驗機率為零,即使真正機率正值。
固定有限字母集合、獨立取樣且條件適當時,樣本增加會使估計收斂。樣本少時通常低估熵,因為漏掉可能結果,使分布看起來太集中。聯合分布要涵蓋的集合,又比任一邊際大。
量化也定義變數。把連續特徵分成 8 級或 256 級,是不同有限集合問題。更細分格可能提供解析度,也產生更多稀疏格。資訊曲線看起來平滑,不會消除這個取捨。
以下獨立模擬對已知均勻來源做重複合成取樣,檢查 plug-in 估計的平均,不以單次抽樣聲稱信賴程度。
程式碼 · Python · 15 行
import numpy as np
rng = np.random.default_rng(31)
alphabet = 20
truth = np.log2(alphabet)
for n in [40, 400, 4000]:
estimates = []
for _ in range(200):
sample = rng.integers(alphabet, size=n)
p = np.bincount(sample, minlength=alphabet) / n
positive = p > 0
estimates.append(-np.sum(p[positive] * np.log2(p[positive])))
print("N:", n, "true entropy:", round(truth, 4),
"mean estimate:", round(np.mean(estimates), 4))
assert abs(np.mean(estimates) - truth) < 0.02實務上要指定取樣單位、特徵轉換、估計器類型、超參數選擇及不確定性評估。同一錄影的重複影格,不等於獨立場景。先用已知資訊量的分布測估計器,是有用起點。
現代觀點
基本資訊量沒有改變,但現代應用常使用高維學得表示。困難通常是依模型估計或最佳化資訊量,而非寫出定義。
Butakov 等人在 NeurIPS 2024 研究透過 normalizing flow 估互資訊 [3]。方法利用可逆轉換,在假設成立時保留目標資訊、讓估計較容易。換座標能幫助估計器,不等於創造資訊。這是原始方法,不是綜述,也不證明所有神經估計器都無偏。
Aubret、Matignon 與 Hassas 的 2023 綜述 [4] 以驚訝、新穎性與技能學習分類內在動機。不可預測觀測、新到訪狀態與可控制技能,是不同目標。本章的解讀是:「最大化熵」必須先指定變數與條件結構,才成為可用設計規則。
El Gamal 2026 的 Information Theory and Statistical Learning [5] 連結以散度為基礎的預測及生成學習。它是建議納入未來第 3 版的草稿章節,不是已出版的第 3 版,也不取代本主線使用的第 2 版章號。
開放問題包括稀疏高維估計、偏差不同的估計器比較、考慮相依性的評估,以及方便的資訊目標與真正任務之間的關係。方法改善估計下界,不直接證明下游決策改善。
讀這類主張時,可以逐項問:哪些隨機變數?哪個聯合分布?什麼單位?數值是精確量、估計、界限還是最佳化目標?條件獨立假設由什麼支持?這些問題把數學精確性連到有效實驗證據。
重點整理
- 熵是分布下的平均驚訝,不是單一觀測值的性質。
- 鏈式法則處理共享結構,不需要獨立假設。
- 條件降低平均不確定性,個別條件結果可能不同。
- 相對熵有方向、對支撐集合敏感,且非負。
- 交叉熵分開來源不確定性與模型失配。
- 互資訊量測相依,條件與無條件相依可能差很多。
- 資料處理限制固定來源的證據,輸出隨機性卻可能增加。
- 經驗資訊估計繼承取樣、量化與模型假設。
練習
- 三符號來源機率為 ,計算各結果驚訝與熵,再比較均勻三符號來源。
提示
用機率加權對數驚訝。
- 建立均勻邊際、互資訊零的二元聯合表,再建立互資訊一 bit 的表,解釋條件熵。
提示
比較外積與對角表。
- 展開與 符號均勻模型的 ,用非負性證明熵上界,寫出取等號條件。
提示
展開為 。
- 建立一個具體模型,使某個 有 ,平均條件不等式仍成立。
提示
用少數公平診斷日和多數確定日。
- 處理範例再加第三個雜訊通道,逐階檢查互資訊,指出獨立假設。
提示
先乘轉移機率,再消去中間狀態。
- 固定樣本數,把估計模擬的字母集合放大,區分估計器結論與真正熵結論。
提示
同時記錄未見符號數。
參考文獻
- T. M. Cover and J. A. Thomas, Elements of Information Theory, 2nd ed., Wiley, 2006,第 1–2、17 章。出版社與目錄。
- T. Weissman, “Entropy, Relative Entropy, and Mutual Information,” Stanford EE276 Lecture 2 notes, 2024。一手講義。
- I. D. Butakov, A. D. Tolmachev, S. V. Malanchuk, A. M. Neopryatnaya and A. A. Frolov, “Mutual Information Estimation via Normalizing Flows,” NeurIPS, 2024。會議論文。
- A. Aubret, L. Matignon and S. Hassas, “An Information-Theoretic Perspective on Intrinsic Motivation in Reinforcement Learning: A Survey,” Entropy, 25(2), 327, 2023。已出版綜述。
- A. El Gamal, “Information Theory and Statistical Learning,” proposed textbook chapter, arXiv preprint, 2026。草稿與出版狀態。
檢查理解
本篇有 6 題練習。不看提示,你能解出來嗎?
前往練習 ↑下一篇 IT 02・典型序列、AEP 與熵率 · 16 分鐘