完整搜尋頁面 →

IT 01・熵、相對熵與互資訊

資訊理論入門14 分鐘更新於 2026年10月4日

先備知識:ML 01B・機率與資訊理論

導覽:本頁與本系列: 導覽:本頁與本系列
用實驗理解本章 2 個互動實驗

區分來源的不確定性、實際傳遞的資訊與通道容量。

你將學到

  • 為什麼對數能把機率轉成可相加的驚訝程度。
  • 計算熵、條件熵、相對熵與互資訊。
  • 推導鏈式法則,辨認基本不等式何時取等號。
  • 解釋處理能丟棄、保留或增加什麼,不把隨機性混同於資訊。
  • 用有限機率表與完整 CPU 範例檢查資訊恆等式。
  • 區分母體資訊量、經驗估計與學習目標。

先看全貌

感測器傳送一串量測,有些值可預測,有些出乎意料。壓縮器利用可預測性;接收者則需要能減少目標不確定性的量測。這兩種價值相關,但不相同。一串非常隨機的訊號,也可能幾乎沒有關於場景的有用證據。

本主線以 Thomas M. Cover 與 Joy A. Thomas 的 Elements of Information Theory 第 2 版為核心 [1]。這些資訊量有實際意義:熵連到壓縮,互資訊連到通訊限制,相對熵則把機率失配連到額外描述長度與統計辨別。我們先從有限字母集合開始,讓每個量都能逐項相加檢查。

Stanford 熵講義 [2] 提供易讀的配套說明。本章使用明確合成機率模型,讓定義與數值檢查可以直接逐項確認。

主線如何銜接

教學核心問題第 2 版主要章節
IT 01資訊到底量測什麼?1–2,以及 17 的基本工具
IT 02為什麼長序列的整體行為較可預測?3–4
IT 03如何縮短描述而不丟失符號?5、13–14
IT 04有雜訊的通道能可靠傳多少資訊?7
IT 05連續與高斯變數有何不同?8–9
IT 06容許失真時需要多少位元率?10
IT 07資訊量如何支援推論與決策?6、11–12、16
IT 08多使用者、限制與學習帶來什麼改變?15,以及 17 的進階工具

這種分組涵蓋全書主要主題,但不表示每個定理都能用短推導完整處理。先理解定義,再做數值檢查,最後閱讀證明。計算不清楚時,先明列機率表,再加入神經估計器或通訊系統。

隨機變數、結果與機率模型

隨機變數描述觀測前可能發生什麼。機率來自對實驗的模型。同一個觀測值,在某個模型下罕見,在另一模型下可能很普通。

令 XX 的值來自有限字母集合 X\mathcal X:

pX(x)=Pr⁡(X=x),pX(x)≥0,∑x∈XpX(x)=1.p_X(x)=\Pr(X=x),\qquad p_X(x)\geq0,\qquad \sum_{x\in\mathcal X}p_X(x)=1.

XX 是隨機變數,xx 是一個可能結果,X\mathcal X 是結果集合,pXp_X 是機率質量函數,Pr⁡\Pr 表示機率。聯合分布 pXY(x,y)p_{XY}(x,y) 為成對結果指定機率,邊際分布由加總取得:

pX(x)=∑ypXY(x,y),pY(y)=∑xpXY(x,y).p_X(x)=\sum_y p_{XY}(x,y),\qquad p_Y(y)=\sum_x p_{XY}(x,y).

YY 是另一有限隨機變數,yy 是其結果,pYp_Y 是邊際機率質量函數。若 pY(y)>0p_Y(y)>0,條件機率為 pX∣Y(x∣y)=pXY(x,y)/pY(y)p_{X\mid Y}(x\mid y)=p_{XY}(x,y)/p_Y(y)。零機率事件需要另外處理;它不會貢獻以下有限加總。

未特別說明時,對數以二為底,單位是 bit(位元)。自然對數對應 nat;把 nat 數值除以 ln⁡2\ln2 可換成 bit。bit 是資訊單位,不一定等於某種檔案格式實際儲存的一個二進位數字。

比較分布時,先固定實驗。一個模型描述灰階值,另一個描述整張影像,兩者熵不能直接比較。改變變數、字母集合、量化或已知條件,都是改變問題。

對數讓驚訝程度可以相加

越罕見的結果,驚訝程度越高。兩個獨立觀測應帶來各自驚訝程度的總和;對數讓加法與機率乘法一致。

定義某結果的自資訊(self-information):

ıX(x)=−log⁡2pX(x).\imath_X(x)=-\log_2 p_X(x).

ıX(x)\imath_X(x) 是模型 pXp_X 下,結果 xx 的驚訝程度。獨立結果的機率若為 aa 和 bb,聯合機率是 abab,因此 −log⁡2(ab)=−log⁡2a−log⁡2b-\log_2(ab)=-\log_2a-\log_2b。等可能結果數加倍,資訊量增加一 bit,而非變成兩倍。

機率一的結果沒有驚訝;機率 1/81/8 的結果有三 bit。這些描述的是觀測前的機率模型;罕見符號不一定具有較高的實際任務價值。

若模型對實際出現的結果給零機率,自資訊就是無限大。預測應用中,這可能表示支撐集合錯誤:模型宣稱實際可能發生的事件不可能。加入很小的數值常數會改變模型;它可能有用,但不是原分布的計算。

平均驚訝程度就是熵(entropy):

H(X)=−∑xpX(x)log⁡2pX(x)=E[ıX(X)].H(X)=-\sum_x p_X(x)\log_2p_X(x) =\mathbb E[\imath_X(X)].

H(X)H(X) 是 XX 的熵,E\mathbb E 依其分布取平均。約定 0log⁡0=00\log0=0 來自極限;從不出現的結果不貢獻平均。

因此熵是分布的性質,不是某個已實現樣本的性質。平均熵很小的分布,也可能偶爾產生高驚訝結果。影像具有顯眼圖案,也仍可能被合適的機率模型輕易預測。

熵的界限與二元例子

結果確定時,不確定性為零。可能結果數固定時,所有結果等機率會使不確定性最大。

若字母集合有 KK 個值:

0≤H(X)≤log⁡2K.0\leq H(X)\leq\log_2K.

K=∣X∣K=|\mathcal X| 是集合大小。集中在單一結果的分布達到下界;均勻分布達到上界。若只有 K+K_+ 個結果具有正機率,更緊的上界是 log⁡2K+\log_2K_+。

二元變數的結果一有機率 pp 時:

h2(p)=−plog⁡2p−(1−p)log⁡2(1−p).h_2(p)=-p\log_2p-(1-p)\log_2(1-p).

h2h_2 是二元熵函數,p∈[0,1]p\in[0,1]。曲線關於 p=1/2p=1/2 對稱,最大值是一 bit,接近兩端時趨近零。偏斜來源比公平來源容易預測,即使兩者都只有兩種符號。

二元熵從機率零處的零上升,在二分之一達到一 bit,再對稱下降到零。
圖 1 — 二元熵的解析曲線。可能符號數不變,只有機率改變。

熵對分布是凹函數。混合兩個來源分布、卻隱藏選了哪個來源,熵不會低於個別熵的加權平均。揭露來源選擇可能消除部分增加的不確定性,因此混合來源常比個別來源更難預測。

最大熵界限也能用與均勻模型的相對熵證明。稍後同一非負性論證,還會說明為什麼條件降低平均熵,以及互資訊為什麼不能為負。

聯合熵與鏈式法則

一起描述兩個變數,可能比各自獨立描述便宜。知道第一個後,共享結構可能讓第二個更容易預測。

聯合熵為

H(X,Y)=−∑x,ypXY(x,y)log⁡2pXY(x,y).H(X,Y)=-\sum_{x,y}p_{XY}(x,y)\log_2p_{XY}(x,y).

H(X,Y)H(X,Y) 量測成對變數 (X,Y)(X,Y) 的不確定性。條件熵為

H(Y∣X)=−∑x,ypXY(x,y)log⁡2pY∣X(y∣x).H(Y\mid X) =-\sum_{x,y}p_{XY}(x,y)\log_2p_{Y\mid X}(y\mid x).

H(Y∣X)H(Y\mid X) 是已知 XX 後,對 YY 的平均剩餘不確定性;每個條件分布的熵,依對應 xx 的機率加權。

利用 pXY(x,y)=pX(x)pY∣X(y∣x)p_{XY}(x,y)=p_X(x)p_{Y\mid X}(y\mid x),可得

H(X,Y)=H(X)+H(Y∣X).H(X,Y)=H(X)+H(Y\mid X).

每一項必須來自同一聯合模型。乘積取對數產生兩項,第一項對 yy 加總後留下 pX(x)p_X(x)。這說明恆等式的來源,不只是要背的公式。

對序列 X1,…,XnX_1,\ldots,X_n:

H(X1,…,Xn)=∑i=1nH(Xi∣X1,…,Xi−1).H(X_1,\ldots,X_n) =\sum_{i=1}^{n}H(X_i\mid X_1,\ldots,X_{i-1}).

nn 是變數數量,ii 是序列索引;第一項沒有條件變數。此法則不需要獨立假設。若獨立,每個條件熵等於邊際熵,聯合熵就是總和。

影像中,直方圖只描述邊際像素頻率,丟掉空間相依性。兩張影像的直方圖相同,知道鄰近像素後的可預測性卻可能很不同。序列模型決定這些相依性是否能縮短描述。

條件平均有幫助,不代表每種結果都如此

知道另一變數,不會使最佳平均預測變差。但某個特定觀測,可能揭露你正處在特別不確定的情況。

H(X∣Y)≤H(X),H(X,Y)≤H(X)+H(Y).H(X\mid Y)\leq H(X),\qquad H(X,Y)\leq H(X)+H(Y).

第一式比較平均條件不確定性與邊際不確定性;第二式由鏈式法則得到。XX 和 YY 獨立時取等號。

「平均」很重要。假設大部分日子感測器固定輸出零,少數診斷日輸出公平二元結果。知道今天是診斷日,反而比邊際混合分布更不確定。但平均正常日與診斷日後,知道日子類型仍降低平均不確定性。

加入更多條件時:

H(X∣Y,Z)≤H(X∣Y).H(X\mid Y,Z)\leq H(X\mid Y).

ZZ 是額外資訊。這比較同一固定聯合分布的熵,並不是說有限神經網路多讀輸入就一定泛化更好。最佳化、資料不足與虛假相關,都可能使學得預測器無法達到最佳條件預測。

有限變數的條件熵非負。後續連續變數的微分熵有不同性質;不能不查假設,就把每個有限字母集合不等式套到連續熵。

用數值檢查條件化

讓診斷日例子更具體:Y=1Y=1 表示診斷日,機率 0.1。平常日 X=0X=0,診斷日的 XX 是公平位元。因此 X=1X=1 的邊際機率為 0.1×0.5=0.050.1\times0.5=0.05,得到 H(X)=h2(0.05)=0.286397H(X)=h_2(0.05)=0.286397 位元。

知道今天是診斷日,會把不確定性提高至 H(X∣Y=1)=1H(X\mid Y=1)=1 位元;但平均所有日子得到 H(X∣Y)=0.9×0+0.1×1=0.1H(X\mid Y)=0.9\times0+0.1\times1=0.1 位元。條件不等式比較的是 0.1 與 0.286397,不是每個個別條件熵與邊際熵。日子標籤平均移除 I(X;Y)=0.186397I(X;Y)=0.186397 位元。

相對熵量測機率失配

模型預期錯誤結果,可能浪費描述長度。相對熵以真正產生觀測的分布為方向,量測這種失配。

D(p∥q)=∑xp(x)log⁡2p(x)q(x).D(p\|q)=\sum_x p(x)\log_2\frac{p(x)}{q(x)}.

pp 和 qq 是同一字母集合上的機率質量函數,D(p∥q)D(p\|q) 是相對熵,也稱 Kullback–Leibler divergence [1]。p(x)=0p(x)=0 的項為零;若 p(x)>0p(x)>0 而 q(x)=0q(x)=0,相對熵無限大。

非負性可由對數凹性得到:

−D(p∥q)=Ep ⁣[log⁡2q(X)p(X)]≤log⁡2∑x:p(x)>0q(x)≤0.\begin{aligned} -D(p\|q) &=\mathbb E_p\!\left[\log_2\frac{q(X)}{p(X)}\right]\\ &\leq\log_2\sum_{x:p(x)>0}q(x)\leq0. \end{aligned}

Ep\mathbb E_p 是依 pp 取期望值。第一個不等式是 Jensen 不等式,最後加總不超過一。兩分布一致時取等號。若模型在來源支撐集合外也分配機率,此證明仍成立。

方向重要:D(p∥q)D(p\|q) 一般不等於 D(q∥p)D(q\|p)。它不是度量距離,因為不符合對稱及一般三角不等式等要求。口語稱為「距離」,不能據此套用需要真正距離的演算法。

例如公平來源與一個對結果一給 0.90.9 機率的模型。模型往某方向過度自信,會為常出現卻未預期的零付代價。反轉分布,描述的是不同實驗及不同平均懲罰。

對均勻分布 u(x)=1/Ku(x)=1/K,展開可得 D(p∥u)=log⁡2K−H(p)D(p\|u)=\log_2K-H(p)。非負性給出熵上界,也證明固定有限字母集合上,只有均勻來源達到最大熵。

交叉熵連結預測與編碼

交叉熵用提出的機率模型為觀測打分,包含來源不可避免的不確定性,以及模型不準確的代價。

H(p,q)=−∑xp(x)log⁡2q(x)=H(p)+D(p∥q).H(p,q)=-\sum_xp(x)\log_2q(x) =H(p)+D(p\|q).

H(p,q)H(p,q) 是交叉熵,H(p)H(p) 是真實來源熵,qq 提供預測機率。理想機率編碼中,−log⁡2q(x)-\log_2q(x) 是描述長度目標;實際編碼還有整數長度、框架、模型描述與實作成本。

pp 固定、參數改變 qq 時,最小化母體交叉熵等同最小化相對熵。用資料估計時,經驗平均負對數機率是

H^N=−1N∑j=1Nlog⁡2qθ(xj).\widehat H_N =-\frac1N\sum_{j=1}^{N}\log_2q_\theta(x_j).

NN 是觀測數,xjx_j 是第 jj 個觀測,θ\theta 是模型參數;帽號表示經驗量。它和母體平均的關係,依觀測取樣方式及是否重用來選模型而定。

分類器對已知特徵的標籤使用條件版本,生成模型則對觀測或序列使用這個觀點。低訓練值描述訓練觀測的擬合,不直接證明未來資料表現。這連到 ML/DL 評估規則。

訓練用自然對數時,loss 單位是 nat。乘正常數會改變梯度尺度,但不改變數學最佳解。比較論文中的數值,須統一單位、正規化方式及預測目標。

計算例:一張表,三種資訊問題

以下是母體模型,每格表示觀察到該點對的機率。它描述兩個公平位元,但兩者相同的機會高於不同的機會。

聯合機率Y=0Y=0Y=1Y=1列總和
X=0X=00.40.10.5
X=1X=10.10.40.5
欄總和0.50.51.0

各列、欄總和給出邊際機率。兩個邊際都公平,因此 H(X)=H(Y)=1H(X)=H(Y)=1 位元。觀察到 X=0X=0 後,把該列除以總和 0.5,得到 YY 的條件機率 0.8 與 0.2。另一列把兩者對調,但熵相同。

H(Y∣X)=0.5h2(0.2)+0.5h2(0.2)=0.721928,H(X,Y)=1+0.721928=1.721928,I(X;Y)=1−0.721928=0.278072.\begin{aligned} H(Y\mid X)&=0.5h_2(0.2)+0.5h_2(0.2)=0.721928,\\ H(X,Y)&=1+0.721928=1.721928,\\ I(X;Y)&=1-0.721928=0.278072. \end{aligned}

h2h_2 是二元熵,H(Y∣X)H(Y\mid X) 平均兩個條件列,H(X,Y)H(X,Y) 描述點對,I(X;Y)I(X;Y) 則是知道另一位元後,任一位元減少的不確定性。數值單位都是位元,取至小數第六位;下方程式使用未取整數值計算。

把聯合表與每格都是 0.25 的獨立表比較,也得到同樣互資訊。相同位元格的比值是 0.4/0.25=1.60.4/0.25=1.6,不同位元格是 0.1/0.25=0.40.1/0.25=0.4;加權對數比總和為 0.278072。單一格的對數比可以負,平均散度卻仍非負。

接著保留公平單位元來源,但用 0.1、0.9 預測。來源熵仍為一位元,交叉熵則成為 −0.5log⁡2(0.1)−0.5log⁡2(0.9)=1.736966-0.5\log_2(0.1)-0.5\log_2(0.9)=1.736966 位元,其中 0.736966 位元是模型失配。聯合表問題量測相依性,預測問題量測錯誤模型;兩者都用散度,卻比較不同分布。

這張表也能解釋分類。預測 Y=XY=X 的正確機率是 0.8,但條件分布仍有 0.721928 位元不確定性。正確率計算決策是否正確,熵評估整個預測分布,兩者不能互相取代。

程式碼:精確機率表檢查

完整 CPU 範例遮掉零機率項,不把它換成小常數。輔助函式也檢查陣列是否為正規化機率。

程式碼 · Python · 36 行
import numpy as np

def probability(a):
    a = np.asarray(a, dtype=float)
    assert np.all(a >= 0) and np.isclose(a.sum(), 1)
    return a

def entropy(a):
    a = probability(a)
    positive = a > 0
    return -np.sum(a[positive] * np.log2(a[positive]))

def divergence(p, q):
    p, q = probability(p), probability(q)
    assert p.shape == q.shape
    positive = p > 0
    if np.any(q[positive] == 0):
        return np.inf
    return np.sum(p[positive] * np.log2(p[positive] / q[positive]))

joint = probability([[0.4, 0.1], [0.1, 0.4]])
px, py = joint.sum(axis=1), joint.sum(axis=0)
independent = np.outer(px, py)
hx, hy, hxy = entropy(px), entropy(py), entropy(joint)
information = divergence(joint, independent)
print("H(X), H(Y), H(X,Y):", hx, hy, hxy)
print("H(Y|X), I(X;Y):", hxy - hx, information)
assert np.isclose(information, hx + hy - hxy)
assert np.isclose(divergence(independent, independent), 0)

p, q = probability([0.5, 0.5]), probability([0.1, 0.9])
cross = -np.sum(p * np.log2(q))
print("Source entropy / cross-entropy / mismatch:",
      entropy(p), cross, divergence(p, q))
assert np.isclose(cross, entropy(p) + divergence(p, q))
assert np.isinf(divergence(probability([0.5, 0.5]), probability([0, 1])))

這裡的恆等式是在指定母體機率表上檢查。若表來自有限樣本,還多了估計不確定性;代數能精確成立,數值估計卻仍可能不準。

互資訊量測相依性

知道一個變數會改變另一個的預期時,兩者共享資訊。這不只限於線性關係。

I(X;Y)=D(pXY∥pXpY)=H(X)+H(Y)−H(X,Y)=H(X)−H(X∣Y).\begin{aligned} I(X;Y) &=D(p_{XY}\|p_Xp_Y)\\ &=H(X)+H(Y)-H(X,Y)\\ &=H(X)-H(X\mid Y). \end{aligned}

I(X;Y)I(X;Y) 是互資訊(mutual information),pXpYp_Xp_Y 是邊際分布乘積。它非負、對稱,且只有獨立時為零。上界是兩個邊際熵中較小者。

相對熵形式問實際成對分布和獨立模型差多少;熵形式問一變數移除另一變數多少平均不確定性。兩觀點一致,但凸顯不同應用。

相關係數較狹窄:零相關一般不能證明獨立。非線性相依可能很強,特定線性摘要卻為零。另一方面,高維互資訊通常比相關係數更難估準。

條件互資訊為

I(X;Y∣Z)=H(X∣Z)−H(X∣Y,Z).I(X;Y\mid Z) =H(X\mid Z)-H(X\mid Y,Z).

ZZ 是條件資訊。此量平均各條件分布內的相依性,非負,但可能比無條件 I(X;Y)I(X;Y) 大,也可能較小。

令 XX 與 YY 是獨立公平二元變數,Z=X⊕YZ=X\oplus Y 是同位元。無條件時,XX 對 YY 沒幫助;已知 ZZ 後,XX 就決定 YY。所以無條件互資訊為零,條件值為一 bit。條件能揭露相依性,不只是減去固定資訊量。

資訊鏈式法則為

I(X;Y,Z)=I(X;Y)+I(X;Z∣Y).I(X;Y,Z)=I(X;Y)+I(X;Z\mid Y).

(Y,Z)(Y,Z) 是聯合觀測。第二項是已有 YY 後,ZZ 額外提供多少資訊。直接相加兩個無條件互資訊,可能重複計入共享證據,或漏掉聯合效果。

互資訊是平均預測改善

利用 pXY(x,y)=pX(x)pY∣X(y∣x)p_{XY}(x,y)=p_X(x)p_{Y\mid X}(y\mid x) 展開聯合分布比值,邊際因子抵消,得到

I(X;Y)=∑xpX(x)D(pY∣X=x∥pY).I(X;Y)=\sum_xp_X(x)D\big(p_{Y\mid X=x}\Vert p_Y\big).

pY∣X=xp_{Y\mid X=x} 是觀察 X=xX=x 後的 YY 條件分布,pYp_Y 是尚未取得該觀測的邊際預測,散度單位為位元。此式把資訊表達成無條件到條件預測的平均改變。

它也證明等號對應獨立。每個條件散度非負,加權總和為零,必須每個正機率 xx 都不改變預測;這正是有限表的獨立條件。計算例中,每個條件列與公平邊際的散度都相同,為 1−h2(0.2)1-h_2(0.2)。

對數預測損失下,最佳無條件預測器付出 H(Y)H(Y),最佳條件預測器付出 H(Y∣X)H(Y\mid X),差就是互資訊。這是最佳母體分布的陳述;擬合預測器可能因資料、容量或最佳化不足,無法實現好處。推導辨認可得預測利益,也說明經驗估計仍需要另外驗證。

資料處理、可逆性與額外隨機性

如果處理只讀目前觀測,就不能創造關於原始來源的新證據。它能增加隨機變動,但變動不等於來源資訊。

Markov 關係 X→Y→ZX\to Y\to Z 表示

p(x,y,z)=pX(x)pY∣X(y∣x)pZ∣Y(z∣y).p(x,y,z)=p_X(x)p_{Y\mid X}(y\mid x)p_{Z\mid Y}(z\mid y).

ZZ 由 YY 產生,不額外讀取 XX。這推出資料處理不等式(data-processing inequality):

I(X;Z)≤I(X;Y).I(X;Z)\leq I(X;Y).

兩邊都是同一 XX 的資訊。這不表示任意隨機處理都有 H(Z)≤H(Y)H(Z)\leq H(Y);加入獨立雜訊可能增加輸出熵,同時降低輸入資訊。

一個有用證明是以兩種順序展開 I(X;Y,Z)I(X;Y,Z)。Markov 關係使 I(X;Z∣Y)=0I(X;Z\mid Y)=0;另一順序包含非負的 I(X;Y∣Z)I(X;Y\mid Z),所以 I(X;Y)=I(X;Z)+I(X;Y∣Z)I(X;Y)=I(X;Z)+I(X;Y\mid Z)。取等號表示 ZZ 沒有丟掉 YY 原本提供的相關 XX 資訊。

確定性轉換滿足 H(f(X))≤H(X)H(f(X))\leq H(X),因為它合併可能結果。在支撐集合上一對一,就不損失不確定性。任一變數做可逆轉換,也保留互資訊;多對一量化則可能丟掉相依性。

公平二元來源經第一個雜訊複製,再經第二個獨立雜訊複製;第二條互資訊曲線始終不高於第一條。
圖 2 — 資料處理的解析例子。第二通道以 0.15 機率獨立翻轉輸入;兩條曲線都量測同一原始來源的資訊。

程式碼:處理與同位元

第二個獨立範例建立完整三變數機率表,不使用學得估計器,直接檢查不等式與同位元例子。

程式碼 · Python · 28 行
import numpy as np

def entropy(p):
    p = np.asarray(p, dtype=float)
    assert np.all(p >= 0) and np.isclose(p.sum(), 1)
    q = p[p > 0]
    return -np.sum(q * np.log2(q))

def mutual(joint):
    return entropy(joint.sum(axis=1)) + entropy(joint.sum(axis=0)) - entropy(joint)

pxy = np.array([[0.4, 0.1], [0.1, 0.4]])
channel = np.array([[0.85, 0.15], [0.15, 0.85]])
pxyz = pxy[:, :, None] * channel[None, :, :]
pxz = pxyz.sum(axis=1)
print("Before / after processing:", mutual(pxy), mutual(pxz))
assert mutual(pxz) <= mutual(pxy) + 1e-12

parity = np.zeros((2, 2, 2))
for x in range(2):
    for y in range(2):
        parity[x, y, x ^ y] = 0.25
pxz, pyz = parity.sum(axis=1), parity.sum(axis=0)
pz = parity.sum(axis=(0, 1))
conditional = entropy(pxz) + entropy(pyz) - entropy(pz) - entropy(parity)
print("Parity I(X;Y) / I(X;Y|Z):",
      mutual(parity.sum(axis=2)), conditional)
assert np.isclose(conditional, 1)

估計互資訊違反資料處理時,可能原因包括取樣誤差、不同估計器偏差或 Markov 假設不成立;精確定理本身沒有失效。

估計不只是套恆等式

計算觀測次數容易,判斷未見結果還有多少機率卻不容易。大字母集合與強相依,會讓資訊估計脆弱。

NN 個觀測中,結果 xx 出現 NxN_x 次,經驗分布與 plug-in 熵為

p^N(x)=NxN,H^N=−∑xp^N(x)log⁡2p^N(x).\widehat p_N(x)=\frac{N_x}{N},\qquad \widehat H_N=-\sum_x\widehat p_N(x)\log_2\widehat p_N(x).

NxN_x 是該結果計數,NN 是總數,帽號表示估計。未見結果的經驗機率為零,即使真正機率正值。

固定有限字母集合、獨立取樣且條件適當時,樣本增加會使估計收斂。樣本少時通常低估熵,因為漏掉可能結果,使分布看起來太集中。聯合分布要涵蓋的集合,又比任一邊際大。

量化也定義變數。把連續特徵分成 8 級或 256 級,是不同有限集合問題。更細分格可能提供解析度,也產生更多稀疏格。資訊曲線看起來平滑,不會消除這個取捨。

以下獨立模擬對已知均勻來源做重複合成取樣,檢查 plug-in 估計的平均,不以單次抽樣聲稱信賴程度。

程式碼 · Python · 15 行
import numpy as np

rng = np.random.default_rng(31)
alphabet = 20
truth = np.log2(alphabet)
for n in [40, 400, 4000]:
    estimates = []
    for _ in range(200):
        sample = rng.integers(alphabet, size=n)
        p = np.bincount(sample, minlength=alphabet) / n
        positive = p > 0
        estimates.append(-np.sum(p[positive] * np.log2(p[positive])))
    print("N:", n, "true entropy:", round(truth, 4),
          "mean estimate:", round(np.mean(estimates), 4))
assert abs(np.mean(estimates) - truth) < 0.02

實務上要指定取樣單位、特徵轉換、估計器類型、超參數選擇及不確定性評估。同一錄影的重複影格,不等於獨立場景。先用已知資訊量的分布測估計器,是有用起點。

現代觀點

基本資訊量沒有改變,但現代應用常使用高維學得表示。困難通常是依模型估計或最佳化資訊量,而非寫出定義。

Butakov 等人在 NeurIPS 2024 研究透過 normalizing flow 估互資訊 [3]。方法利用可逆轉換,在假設成立時保留目標資訊、讓估計較容易。換座標能幫助估計器,不等於創造資訊。這是原始方法,不是綜述,也不證明所有神經估計器都無偏。

Aubret、Matignon 與 Hassas 的 2023 綜述 [4] 以驚訝、新穎性與技能學習分類內在動機。不可預測觀測、新到訪狀態與可控制技能,是不同目標。本章的解讀是:「最大化熵」必須先指定變數與條件結構,才成為可用設計規則。

El Gamal 2026 的 Information Theory and Statistical Learning [5] 連結以散度為基礎的預測及生成學習。它是建議納入未來第 3 版的草稿章節,不是已出版的第 3 版,也不取代本主線使用的第 2 版章號。

開放問題包括稀疏高維估計、偏差不同的估計器比較、考慮相依性的評估,以及方便的資訊目標與真正任務之間的關係。方法改善估計下界,不直接證明下游決策改善。

讀這類主張時,可以逐項問:哪些隨機變數?哪個聯合分布?什麼單位?數值是精確量、估計、界限還是最佳化目標?條件獨立假設由什麼支持?這些問題把數學精確性連到有效實驗證據。

重點整理

  • 熵是分布下的平均驚訝,不是單一觀測值的性質。
  • 鏈式法則處理共享結構,不需要獨立假設。
  • 條件降低平均不確定性,個別條件結果可能不同。
  • 相對熵有方向、對支撐集合敏感,且非負。
  • 交叉熵分開來源不確定性與模型失配。
  • 互資訊量測相依,條件與無條件相依可能差很多。
  • 資料處理限制固定來源的證據,輸出隨機性卻可能增加。
  • 經驗資訊估計繼承取樣、量化與模型假設。

練習

  1. 三符號來源機率為 (1/2,1/4,1/4)(1/2,1/4,1/4),計算各結果驚訝與熵,再比較均勻三符號來源。
提示

用機率加權對數驚訝。

  1. 建立均勻邊際、互資訊零的二元聯合表,再建立互資訊一 bit 的表,解釋條件熵。
提示

比較外積與對角表。

  1. 展開與 KK 符號均勻模型的 D(p∥u)D(p\|u),用非負性證明熵上界,寫出取等號條件。
提示

展開為 log⁡2K−H(p)\log_2K-H(p)。

  1. 建立一個具體模型,使某個 yy 有 H(X∣Y=y)>H(X)H(X\mid Y=y)>H(X),平均條件不等式仍成立。
提示

用少數公平診斷日和多數確定日。

  1. 處理範例再加第三個雜訊通道,逐階檢查互資訊,指出獨立假設。
提示

先乘轉移機率,再消去中間狀態。

  1. 固定樣本數,把估計模擬的字母集合放大,區分估計器結論與真正熵結論。
提示

同時記錄未見符號數。

參考文獻

  1. T. M. Cover and J. A. Thomas, Elements of Information Theory, 2nd ed., Wiley, 2006,第 1–2、17 章。出版社與目錄。
  2. T. Weissman, “Entropy, Relative Entropy, and Mutual Information,” Stanford EE276 Lecture 2 notes, 2024。一手講義。
  3. I. D. Butakov, A. D. Tolmachev, S. V. Malanchuk, A. M. Neopryatnaya and A. A. Frolov, “Mutual Information Estimation via Normalizing Flows,” NeurIPS, 2024。會議論文。
  4. A. Aubret, L. Matignon and S. Hassas, “An Information-Theoretic Perspective on Intrinsic Motivation in Reinforcement Learning: A Survey,” Entropy, 25(2), 327, 2023。已出版綜述。
  5. A. El Gamal, “Information Theory and Statistical Learning,” proposed textbook chapter, arXiv preprint, 2026。草稿與出版狀態。

檢查理解

本篇有 6 題練習。不看提示,你能解出來嗎?

前往練習 ↑

下一篇 IT 02・典型序列、AEP 與熵率 · 16 分鐘