完整搜尋頁面 →

IT 05・微分熵與高斯通道

資訊理論進階15 分鐘更新於 2026年11月5日

先備知識:IT 04・通道容量與可靠通訊

導覽:本頁與本系列: 導覽:本頁與本系列
用實驗理解本章 1 個互動實驗

在兩條平行高斯通道上比較平均分配與注水法。

你將學到

  • 定義微分熵,避免把密度當成機率。
  • 追蹤單位與座標改變,同時保留互資訊。
  • 從相對熵推導高斯最大熵性質。
  • 求平均功率預算下的實數高斯通道容量。
  • 以注水法配置平行通道功率。
  • 區分解析資訊極限、估計與實作成本。

先看全貌

振幅可以在連續範圍取值,但有雜訊的接收器不能免費區分無限多訊息。更精細的量測需要資源,發送器通常也不能使用任意大的振幅。連續資訊理論會把這些限制明確保留。

本章依 Cover 與 Thomas 第 8–9 章 [1],並補充 Stanford 的連續變數與高斯通道講義 [2,3]。順序很重要:先定義以密度為基礎的資訊,再證明分布上界,最後用它最佳化功率限制下的通訊。

連續公式也出現在視覺特徵、潛在表示與感測器雜訊模型。即使場景不變,數值仍可能隨單位改變。比較關係時,互資訊是更穩定的量。

密度不是點機率

連續密度描述每單位量測的機率。密度大於一完全可能,並不違反機率規則。

對具有密度 fXf_X 的實數隨機變數 XX,

Pr⁡(X∈A)=∫AfX(x) dx,∫RfX(x) dx=1.\Pr(X\in A)=\int_Af_X(x)\,dx, \qquad \int_{\mathbb R}f_X(x)\,dx=1.

AA 是可測區域,xx 是所選單位的座標,fX(x)f_X(x) 是密度,不是精確點的機率。一般連續密度下,每個精確點的機率都為零。

寬度十分之一區間上的均勻變數,密度為十;整段區間的機率仍是一。因此,對密度取負對數可能得到負值。

微分熵(differential entropy)為

h(X)=−∫fX(x)log⁡2fX(x) dx.h(X)=-\int f_X(x)\log_2f_X(x)\,dx.

hh 是底數二的微分熵,積分在密度定義處進行。此式假設積分以適當意義存在。它可能負、無窮,有些分布沒有良好定義的有限熵。

與離散熵不同,微分熵本身不是精確表示連續值所需的最少位元數。精確無限精度重建,是另一個通常無界的要求。

符號刻意以小寫 hh 表示微分熵、大寫 HH 表示離散熵。適當條件下,它們有相似代數關係,解釋與符號限制卻不同。

量化連結到實際符號

真實儀器記錄的是格子,不是無限精確的點。格子越小,描述格子索引需要越多位元。

把純量密度量化成寬度 Δ>0\Delta>0 的格子。密度足夠規則且量化夠細時,

H(XΔ)≈h(X)+log⁡21Δ.H(X_\Delta)\approx h(X)+\log_2\frac1\Delta.

XΔX_\Delta 是離散格子索引,Δ\Delta 使用與 xx 相同的座標單位。這是細格子漸近關係,受規則性與尾端條件限制。

格子機率約等於密度乘格寬,因此負對數機率約等於負對數密度減去對數格寬。平均後就得到此式。

額外項不是小修正。解析度增加時,它會發散。有限微分熵不會讓任意精確值變得便宜。

粗解析度、尖銳不連續或厚尾下,近似可能不好。真實量化器也可能飽和、格子不均勻,或範圍有限。這些細節會改變離散分布,實際編碼實驗應納入。

對感測器,解析度與物理雜訊都重要。儲存數值精度超過量測精度,不一定創造新場景資訊,可能只是多了表示不確定振幅的數字。

程式:座標單位與量化熵

獨立實驗使用單位均勻變數,在不同解析度計算經驗格子索引熵,並對照縮放後解析微分熵變化。

程式碼 · Python · 18 行
import numpy as np

rng = np.random.default_rng(36)
x = rng.uniform(0, 1, size=100000)
def discrete_entropy(values):
    _, counts = np.unique(values, return_counts=True)
    p = counts / counts.sum()
    return -np.sum(p * np.log2(p))
for bins in [10, 100, 1000]:
    indices = np.floor(x * bins).astype(int)
    estimated = discrete_entropy(indices)
    theoretical = np.log2(bins)
    print("Bins / estimated index entropy / exact:", bins, estimated, theoretical)
    assert abs(estimated - theoretical) < 0.03
scale = 0.1
h_x, h_scaled = 0.0, np.log2(scale)
print("Differential entropy before / after scaling:", h_x, h_scaled)
assert h_scaled < 0

負的縮放熵,不是離散訊息的負不確定性;它反映每單位座標的密度。有限格子估計仍非負,而且罕見格子變多時,抽樣偏差會增加。

座標改變會改變微分熵

同樣長度用毫米而非公尺表示,會把數值分布拉伸,微分熵也跟著變。

對非零純量 aa 與平移 bb,

h(aX+b)=h(X)+log⁡2∣a∣.h(aX+b)=h(X)+\log_2|a|.

aa 縮放座標,bb 平移。平移不改變密度體積,縮放則乘上 ∣a∣|a|。對作用於 dd 維向量的可逆矩陣 AA,

h(AX+b)=h(X)+log⁡2∣det⁡A∣.h(AX+b)=h(X)+\log_2|\det A|.

AA 是非奇異 dd 乘 dd 矩陣,bb 是平移向量,det⁡A\det A 是行列式。兩側都需要良好定義的熵。

光滑一對一非線性座標映射 TT,有相應 Jacobian 修正:

h(T(X))=h(X)+Elog⁡2∣det⁡JT(X)∣.h(T(X))=h(X)+\mathbb E\log_2|\det J_T(X)|.

JTJ_T 是 TT 的導數矩陣,在隨機 XX 處評估;期望平均對數體積變化。恆等式需要適當可微性、可逆性與可積分性。

這解釋潛在密度為何依賴表示座標。可逆轉換可以改變微分熵,而不丟棄資訊。只以原始微分熵比較特徵空間,可能把座標膨脹誤認成資訊品質。

從密度推導尺度修正

這個修正可以直接理解,不必死背。令 V=aX+bV=aX+b 且 a≠0a\neq0。座標改變保留機率,因此

fV(v)=1∣a∣fX ⁣(v−ba).f_V(v)=\frac1{|a|}f_X\!\left(\frac{v-b}{a}\right).

VV 是轉換後變數,vv 是座標,fVf_V 是密度,a,ba,b 是尺度與平移。座標區間擴張 ∣a∣|a| 倍,密度就縮小相同比例。因此負對數密度增加常數 log⁡2∣a∣\log_2|a|;依未變的事件機率取平均,就得到熵修正。

取寬度 0.1 區間上的均勻來源,微分熵為 log⁡2(0.1)=−3.321928\log_2(0.1)=-3.321928。分成十個寬度 0.01 的等格,每格機率十分之一,離散熵為 log⁡2(10)=3.321928\log_2(10)=3.321928 位元。密度固定且格子與支撐對齊,因此此處細格關係精確成立。

所有座標乘 100 以改變單位後,區間寬十,微分熵變成 log⁡2(10)=3.321928\log_2(10)=3.321928,格寬則變成一。同樣十種結果仍需要 3.321928 位元。縮放使密度熵與格寬修正朝相反方向改變,沒有創造更多可辨事件。只改格子數會改變觀測,改座標單位則不會。

相對熵與互資訊仍有意義

以比值比較密度,會抵消共同座標單位。兩變數關係不應因任一變數換成可逆座標而消失。

對密度 f,gf,g,

DKL(f∥g)=∫f(x)log⁡2f(x)g(x) dx,I(X;Y)=DKL(fXY∥fXfY).D_{\mathrm{KL}}(f\Vert g) =\int f(x)\log_2\frac{f(x)}{g(x)}\,dx, \qquad I(X;Y)=D_{\mathrm{KL}}(f_{XY}\Vert f_Xf_Y).

fXYf_{XY} 是聯合密度,fXfYf_Xf_Y 是獨立乘積參考。散度非負,支撐或可積分性要求時可為無窮。

分別對 X,YX,Y 做可逆座標轉換,密度比與積分中的 Jacobian 因子會抵消,所以互資訊不變。非可逆投影或量化不適用;它們可能丟棄資訊,受到資料處理關係控制。

所有熵有限且相容時,

I(X;Y)=h(X)+h(Y)−h(X,Y)=h(Y)−h(Y∣X).I(X;Y)=h(X)+h(Y)-h(X,Y)=h(Y)-h(Y\mid X).

h(X,Y)h(X,Y) 是聯合微分熵,h(Y∣X)h(Y\mid X) 是平均條件微分熵。條件微分熵可能負,但互資訊仍非負。

若熵差會相減無窮,密度比定義更安全。真正連續變數的無雜訊確定性恆等關係,可能有無窮互資訊與奇異聯合法則;一般全維聯合密度公式需要小心。

對相關係數 ρ\rho 的聯合高斯純量對,

I(X;Y)=−12log⁡2(1−ρ2).I(X;Y)=-\frac12\log_2(1-\rho^2).

ρ\rho 是相關係數,∣ρ∣<1|\rho|<1 讓共變異數非奇異。只有聯合高斯假設下,相關係數才足以代入此式;一般相依不能只用一個共變異數數值概括。

固定共變異數下,高斯分布有最大熵

在指定共變異數的分布中,高斯以微分熵意義最廣泛地散布不確定性。這是受限制陳述,不是每個來源都高斯的宣稱。

共變異數 Σ\Sigma 的非奇異 dd 維高斯具有

h(G)=12log⁡2((2πe)ddet⁡Σ).h(G)=\frac12\log_2\big((2\pi e)^d\det\Sigma\big).

GG 是高斯向量,dd 是維度,Σ\Sigma 是正定共變異數,ee 是自然對數底數。平均值不影響熵。

將另一個具有相同均值與共變異數的密度 ff,與高斯密度 gg 比較。高斯對數密度是常數加二次形式。因前兩階動差相同,它在 ff 下的期望等於在 gg 下的期望。因此

DKL(f∥g)=h(G)−h(X)≥0.D_{\mathrm{KL}}(f\Vert g)=h(G)-h(X)\geq0.

XX 具有密度 ff,等式假設需要的量有限。它證明最大熵性質,且等號對應高斯分布 [1,2]。

一維固定變異數 σ2\sigma^2,最大熵為 12log⁡2(2πeσ2)\tfrac12\log_2(2\pi e\sigma^2)。只指定支撐範圍,則有不同極值分布:該有界支撐上的均勻密度。限制決定最大熵分布。

這個證明不只對通訊有用。它讓模型選擇透明:從均值與共變異數採用高斯,在最大熵表示中沒有加入額外形狀限制。但它不會驗證擬合、排除多峰,也不讓高斯概似自動對離群值穩健。

共變異數必須對稱正定,不能只檢查行列式為正:−I2-I_2 的行列式是一,但變異數為負;這裡 I2I_2 是二維單位矩陣。程式先明確檢查對稱性,再由 Cholesky 分解計算對數行列式 [6]。奇異共變異數描述較低維度的高斯分布;加入對角雜訊會定義不同模型,因此這個全維度熵函式直接拒絕它。

程式:高斯資訊與可逆縮放

完整例子由合成高斯對估計共變異數、計算高斯模型資訊,並驗證可逆縮放改變熵,卻保留資訊公式。

程式碼 · Python · 39 行
import numpy as np

rng = np.random.default_rng(37)
rho = 0.7
covariance = np.array([[1, rho], [rho, 1]])
samples = rng.multivariate_normal([0, 0], covariance, size=100000)
estimated_cov = np.cov(samples, rowvar=False)
def gaussian_entropy(cov):
    cov = np.atleast_2d(np.asarray(cov, dtype=float))
    if (cov.ndim != 2 or cov.shape[0] != cov.shape[1]
            or not np.all(np.isfinite(cov))
            or not np.allclose(cov, cov.T, rtol=0, atol=1e-12)):
        raise ValueError("Covariance must be a finite symmetric square matrix")
    factor = np.linalg.cholesky(cov)  # rejects singular or indefinite inputs
    logdet = 2*np.log(np.diag(factor)).sum()
    d = cov.shape[0]
    return 0.5 * (d * np.log(2*np.pi*np.e) + logdet) / np.log(2)
def gaussian_information(cov):
    return (gaussian_entropy([[cov[0, 0]]]) +
            gaussian_entropy([[cov[1, 1]]]) - gaussian_entropy(cov))
# A positive determinant alone is not a covariance-validity check.
assert np.linalg.det(-np.eye(2)) > 0
for invalid in [-np.eye(2), np.ones((2, 2)), [[1., 1.], [0., 1.]]]:
    try:
        gaussian_entropy(invalid)
    except (ValueError, np.linalg.LinAlgError):
        pass
    else:
        raise AssertionError("Invalid covariance was accepted")
estimated = gaussian_information(estimated_cov)
exact = -0.5 * np.log2(1-rho**2)
transform = np.diag([100, 0.2])
scaled_cov = transform @ estimated_cov @ transform.T
assert abs(gaussian_information(scaled_cov) - estimated) < 1e-12
assert abs(gaussian_entropy(scaled_cov) - gaussian_entropy(estimated_cov)
           - np.log2(abs(np.linalg.det(transform)))) < 1e-12
assert abs(estimated - exact) < 0.02
print("Estimated Gaussian-model MI / exact MI:", estimated, exact)
print("Entropy shift:", gaussian_entropy(scaled_cov) - gaussian_entropy(estimated_cov))

這是高斯參數計算,不是通用互資訊估計器。非高斯資料集代入共變異數,回答的是高斯模型問題,可能漏掉大量非線性相依。

推導實數高斯通道容量

訊號功率增加可區分輸出的散布;雜訊則讓它們模糊。精確高斯模型下,容量取決於兩者比例。

每次使用傳一個實數振幅:

Y=X+Z,Z∼N(0,N),Z⊥X,E[X2]≤P.Y=X+Z,\qquad Z\sim\mathcal N(0,N),\qquad Z\perp X,\qquad \mathbb E[X^2]\leq P.

XX 是輸入,YY 是輸出,ZZ 是獨立零均值高斯雜訊,N>0N>0 是雜訊變異數,P≥0P\geq0 是平均輸入功率,⊥\perp 表示獨立。各次使用的雜訊獨立且同分布。

給定 XX,只剩平移雜訊,所以 h(Y∣X)=h(Z)h(Y\mid X)=h(Z)。輸出變異數至多 P+NP+N。高斯最大熵因此給

I(X;Y)≤12log⁡2(2πe(P+N))−12log⁡2(2πeN)=12log⁡2(1+PN).I(X;Y)\leq \frac12\log_2(2\pi e(P+N)) -\frac12\log_2(2\pi eN) =\frac12\log_2\left(1+\frac PN\right).

P/NP/N 是訊雜比。獨立高斯輸入 X∼N(0,P)X\sim\mathcal N(0,P) 讓輸出高斯,達到此單字母上界。相應編碼定理建立

C(P)=12log⁡2(1+PN)C(P)=\frac12\log_2\left(1+\frac PN\right)

在標準平均功率模型下,每次實數通道使用的位元容量 [1,3]。最大化輸入均值為零,因確定性均值消耗功率,卻不增加可區分變動。

實數高斯容量以每次使用位元計,隨訊雜比對數增加,橫軸為對數尺度。
圖 1 — 每次使用一個實數振幅、獨立高斯雜訊與平均功率限制。二分之一因子屬於此實數慣例。

平均功率限制不會替每個振幅設定嚴格最大值。加入峰值振幅限制,會改變最佳輸入分布,通常也改變容量。有限星座則定義更受限的訊號問題。

類似的複數公式常沒有二分之一,因一次複數使用含兩個實數維度,配合相應功率與雜訊慣例。未定義一次使用就比較公式,可能創造假的兩倍改善。

幾何觀點與限制

多次使用時,雜訊讓觀測形成發送碼字周圍的雲。好的碼字距離夠遠,讓雲通常可區分。

對 nn 個獨立高斯雜訊樣本,平方範數集中於 nNnN 附近:

1n∑t=1nZt2→N.\frac1n\sum_{t=1}^{n}Z_t^2\to N.

ZtZ_t 是第 tt 次雜訊,箭頭表示適當大數法則收斂。功率限制碼字的輸入半徑尺度約 nP\sqrt{nP},輸出尺度則較大,涉及 P+NP+N。

比較高維輸出體積與雜訊雲體積,暗示碼字數尺度為 (1+P/N)n/2(1+P/N)^{n/2};正規化二進位對數就是容量式。這是幾何解釋,不是高斯雜訊支撐有界的宣稱。

雜訊有正機率離開任意有限球。可靠通訊要求非典型觀測足夠罕見,不要求所有可能結果的雜訊雲完全不重疊。這區分了誤差趨零容量與零錯誤通訊。

幾何也說明單次使用圖形為何可能誤導。長區塊允許很多座標合作,整體範數集中;短區塊星座則有自己的距離與解碼取捨。

平行通道與注水法

多個獨立通道雜訊不同時,把功率放在資訊邊際增加最多的地方。很吵的通道可能完全不分配功率。

對 mm 個雜訊變異數 Ni>0N_i>0 的平行實數高斯通道,在總功率 PtotalP_{\mathrm{total}} 下分配 Pi≥0P_i\geq0:

max⁡∑iPi≤Ptotal∑i=1m12log⁡2(1+PiNi).\max_{\sum_iP_i\leq P_{\mathrm{total}}} \sum_{i=1}^{m}\frac12\log_2\left(1+\frac{P_i}{N_i}\right).

ii 索引平行維度,mm 是數量,目標是所有維度聯合使用一次的位元。獨立高斯輸入達到各分量速率。

作用中功率的導數為 1/[2ln⁡2(Ni+Pi)]1/[2\ln2(N_i+P_i)]。共同預算下令導數相等,得到

Pi=(μ−Ni)+,∑i(μ−Ni)+=Ptotal.P_i=(\mu-N_i)_+,\qquad \sum_i(\mu-N_i)_+=P_{\mathrm{total}}.

μ\mu 是水位,(u)+=max⁡(u,0)(u)_+=\max(u,0)。符號表示在雜訊地板上加水:作用中通道達到共同訊號加雜訊水位。

此結果來自凹最佳化的最佳性條件。雜訊地板高於水位的通道分配為零;若給正功率,邊際回報比作用中的低雜訊通道差。

四個雜訊地板 0.2、0.8、1.6、3.0,訊號功率填在前兩個地板上直到共同水位。
圖 2 — 四個獨立實數通道的總訊號功率為 2.0。注水法是指定模型下的解析資源配置。

手算圖中的功率配置

雜訊地板為 0.2、0.8、1.6、3.0,總訊號功率預算二。先假設只啟用第一通道,總水位會是 0.2+2=2.20.2+2=2.2,高於第二地板,因此讓第二通道完全不用不可能最佳。

改假設啟用前兩通道,功率總和為 (μ−0.2)+(μ−0.8)=2(\mu-0.2)+(\mu-0.8)=2,得到 μ=1.5\mu=1.5。它高於兩個作用中地板、低於下一地板 1.6,因此作用集合與假設一致。功率配置為 1.3、0.7、零、零。

聯合使用速率為 12log⁡2(7.5)+12log⁡2(1.875)=1.906891\tfrac12\log_2(7.5)+\tfrac12\log_2(1.875)=1.906891 位元。每通道平均分配 0.5,約得到 1.561252 位元。兩種設計都使用總功率二,改善來自配置位置,不是增加預算。

第三通道在水位超過 1.6 時啟用,先需要預算 (1.6−0.2)+(1.6−0.8)=2.2(1.6-0.2)+(1.6-0.8)=2.2。第四通道在水位超過三時啟用,閾值為 (3−0.2)+(3−0.8)+(3−1.6)=6.4(3-0.2)+(3-0.8)+(3-1.6)=6.4。這些閾值解釋容量與功率曲線中作用集合如何改變。

共同訊號加雜訊水位只適用作用中通道。地板高於水位者維持零訊號功率。這個互補條件說明:若強迫四通道全部有相同總水位,就會得到不可能的負功率。

程式:求水位並比較平均配置

完整例子以二分搜尋求水位,驗證預算與作用中最佳性條件,再比較平均功率速率。

程式碼 · Python · 20 行
import numpy as np

noise = np.array([0.2, 0.8, 1.6, 3.0])
budget = 2.0
low, high = noise.min(), noise.max() + budget
for _ in range(100):
    level = (low + high) / 2
    if np.maximum(level-noise, 0).sum() > budget:
        high = level
    else:
        low = level
level = (low + high) / 2
power = np.maximum(level-noise, 0)
equal = np.full(len(noise), budget / len(noise))
rate = lambda allocation: 0.5*np.log2(1+allocation/noise).sum()
assert abs(power.sum()-budget) < 1e-12
assert np.allclose(noise[power > 0]+power[power > 0], level)
assert rate(power) >= rate(equal)
print("Water level / power allocation:", level, power)
print("Water-filled / equal-allocation joint rate:", rate(power), rate(equal))

目標計算每個維度同時使用一次。除以維度數,會得到不同的每維平均;兩者都要先指定使用速率,才能轉成每秒位元。

有色高斯雜訊下,在相容線性輸入與功率假設中,共變異數特徵基底可以建立平行雜訊模式。有通道增益時,有效雜訊地板也依賴增益。零增益不能透過反轉變成有用通道。

向量通道連結幾何與共變異數

多個量測可以對多個輸入座標帶來重疊資訊。矩陣描述混合,共變異數描述雜訊雲與所選訊號散布。

實數線性通道為

Y=AX+Z,Z∼N(0,KZ),X∼N(0,KX),Z⊥X.Y=AX+Z,\qquad Z\sim\mathcal N(0,K_Z),\qquad X\sim\mathcal N(0,K_X),\qquad Z\perp X.

XX 是 dd 維輸入,YY 是 mm 維輸出,AA 是 mm 乘 dd 通道矩陣,KXK_X 是輸入共變異數,KZK_Z 是正定雜訊共變異數。輸入矩陣可半正定,允許不使用部分方向。

輸出共變異數為 AKXA⊤+KZAK_XA^\top+K_Z。相減高斯輸出與條件雜訊熵,得到

I(X;Y)=12log⁡2det⁡(AKXA⊤+KZ)det⁡KZ.I(X;Y)=\frac12\log_2 \frac{\det(AK_XA^\top+K_Z)}{\det K_Z}.

A⊤A^\top 是矩陣轉置,行列式使用輸出維度共變異數。即使訊號低秩,正雜訊共變異數也讓分母與輸出共變異數非奇異。

平均總功率慣例下,tr⁡KX≤P\operatorname{tr}K_X\leq P 限制輸入座標變異數總和。在半正定 KXK_X 上最大化上式,就是相應高斯向量通道問題 [1]。跡是對角元素總和,PP 是每次向量使用總功率。

有用方向同時依賴 AA 與 KZK_Z。很大的原始座標變異數,可能在通道強烈衰減的方向;相關雜訊也可能讓某方向比邊際變異數暗示的更少資訊。相容轉換問題的對角化,揭露能使用相同邊際回報原則的平行模式。

這也說明應區分前處理與物理通道改變。可逆接收器座標轉換,同時改變訊號矩陣與雜訊共變異數,行列式比保持不變。投影會丟棄輸出方向,可能降低資訊;不可逆發送器映射則改變能產生哪些輸入訊號。

數值計算應用穩定分解求對數行列式,不要先算巨大行列式再取對數。行列式可能溢位,對數卻適中。解讀答案前,先檢查正定性與矩陣維度。

條件熵與確定性表示

表示在數值上可以連續,卻只含有限可能狀態。數學分布取決於如何生成,不取決於陣列用浮點數儲存。

微分熵定義假設相對連續座標體積有密度。浮點數儲存的離散標籤仍是離散;有限資料集經確定性映射得到的向量,即使座標為實數,經驗支撐仍有限。

高維特徵空間中的低維流形,相對全維體積具有奇異分布。擬合全維密度隱含加入雜訊或平滑模型。得到的熵屬於該模型,可能強烈依賴尺度。

同樣地,在確定性連續關係加入微小獨立雜訊,會讓密度計算可行,但雜訊大小成為資訊問題的一部分。當大小趨近零,互資訊可能趨無窮。未報告平滑慣例就給有限值,會隱藏此依賴。

比較神經表示時,這些觀察很有用。與離散任務標籤相關的資訊可保持有限,精確確定性連續輸入與表示的資訊卻可能奇異。壓縮或預測目標必須指定哪些變數、雜訊機制與量化器定義速率。

實務做法是先說明觀測模型,再估計資訊:離散格子、明確含雜訊通道、參數密度或固定解析度編碼程序。它們各有正當用途,也回答不同問題。

加入雜訊趨零,資訊為什麼可能發散?

令 X∼N(0,1)X\sim\mathcal N(0,1),表示為 V=X+εV=X+\varepsilon,其中獨立雜訊 ε∼N(0,τ2)\varepsilon\sim\mathcal N(0,\tau^2) 的變異數 τ2\tau^2 為正。這是訊號功率一的高斯通道,因此 I(X;V)=12log⁡2(1+1/τ2)I(X;V)=\tfrac12\log_2(1+1/\tau^2)。τ2=1\tau^2=1 時資訊為半位元,τ2=0.01\tau^2=0.01 時約 3.329106 位元。雜訊變異數趨零,資訊無界增加。

雜訊恰好零時,V=XV=X 是精確連續副本,點對落在二維聯合空間的一條線上,沒有一般二維聯合密度。因此不能在該端點直接相減邊際與聯合微分熵。有限解析度分格則給出有限離散資訊問題。雜訊或解析度慣例,決定神經表示估計究竟回答哪個問題。

建模與估計:公式證明什麼

高斯公式證明的是高斯問題,不會把每個共變異數估計都變成可靠物理通訊極限。

純量容量推導使用獨立加性高斯雜訊、平均二階動差預算,以及無界實數輸入字母。裁切、量化、訊號相依雜訊或改變中的雜訊分布,可能違反一項以上假設。

有限輸出量化器的資訊,不能超過可能標籤數的對數。量化前算出的實數容量,是另一觀測模型的上界參考,不保證量化接收器能達到。

非高斯來源使用高斯熵近似,在必要條件下給動差上界,而非量測熵值。均值與共變異數吻合,不代表尾端或相依吻合。

維度相對觀測太高時,有限樣本共變異數可能奇異,對數行列式公式可能失效。正則化共變異數會建立修改後統計模型;正則化值影響資訊,應明確說明。

評估時應分開物理雜訊模型、座標慣例、估計參數與觀察到的解碼器表現。合成測試可以驗證代數與實作,假設則須由獨立收集資料驗證。

現代觀點

Butakov 等人的 NeurIPS 2024 論文 [4],研究透過 normalizing-flow 轉換估計互資訊。它提供利用可逆密度模型協助估計的現代例子,但仍須評估估計器,不能把座標熵解讀成內在資訊。

當代語意通訊文獻的綜述觀點 [5] 區分接收器建模、生成式重建與學得聯合編碼。對連續通道,我們由此推論:應明確回報功率正規化、實數或複數使用慣例、接收器量化與通道失配。

重建影像很好看,仍可能對某個原始細節只有少量忠實資訊。任務目標可能刻意丟棄該細節;這是率失真選擇,不是另一種微分熵慣例。

開放問題包括高維可靠資訊估計、分布偏移下的概似模型評估、兩端一致處理有限精度,以及讓學得系統資源計算符合物理通道。可逆性與高斯假設簡化數學分析,卻不能代替這些檢查。

下一章問:容許部分重建誤差時,來源需要多少資訊?高斯容量處理如何運送資訊,高斯率失真則處理來源需求多少資訊。

重點整理

  • 密度是每單位座標的機率,不是點機率。
  • 微分熵可負,會隨座標縮放改變。
  • 細量化加入與解析度相關的離散描述成本。
  • 相對熵與互資訊在可逆座標轉換下保留。
  • 高斯最大熵來自固定動差限制。
  • 實數高斯容量含明確平均功率預算與二分之一。
  • 注水法讓作用中平行通道邊際回報相等。
  • 參數資訊公式與經驗解碼可靠性回答不同問題。

練習

  1. 求寬度 0.01 的均勻變數微分熵,說明負值為何不允許負長度碼。
提示

用區間寬度對數,另外處理格子編碼。

  1. 把單位均勻來源量化成 16、64、256 個等格,求精確離散熵並連到微分熵。
提示

每格等機率。

  1. 驗證聯合高斯對分別非零縮放的互資訊不變性。若一變數取整成單一位元,會改變什麼?
提示

可逆尺度的行列式抵消,取整不可逆。

  1. 比較訊雜比 0.1、10 時,功率倍增的容量增益。說明絕對速率增加與相對功率增加為何不同。
提示

相減倍增前後容量。

  1. 增加注水預算直到第三、第四通道作用,從雜訊地板算出啟用閾值。
提示

把水位設為下一雜訊地板。

  1. 說明只有兩輸出標籤的裁切接收器違反哪些假設,並給與訊號功率無關的資訊上界。
提示

輸出熵至多一位元。

參考文獻

  1. T. M. Cover and J. A. Thomas, Elements of Information Theory, 2nd ed., Wiley, 2006, Chapters 8–9. 出版社書頁與目錄。

  2. T. Weissman, “Continuous Random Variables,” Stanford EE276 Lecture 8 notes, 2024. 第一手講義。

  3. T. Weissman, “AWGN Channel,” Stanford EE276 Lecture 9 notes, 2024. 第一手講義。

  4. I. D. Butakov, A. D. Tolmachev, S. V. Malanchuk, A. M. Neopryatnaya and A. A. Frolov, “Mutual Information Estimation via Normalizing Flows,” NeurIPS, 2024. 出版論文。

  5. L. X. Nguyen, A. D. Raha, P. S. Aung, D. Niyato, Z. Han and C. S. Hong, “A Contemporary Survey on Semantic Communications: Theory of Mind, Generative AI, and Deep Joint Source-Channel Coding,” IEEE Communications Surveys & Tutorials, 2025. 出版資訊與作者版本。

  6. NumPy developers, “numpy.linalg.cholesky,” NumPy documentation, accessed 2026-11-05. 官方 API 文件.

檢查理解

本篇有 6 題練習。不看提示,你能解出來嗎?

前往練習 ↑

下一篇 IT 06・率失真與有損表示 · 15 分鐘