IT 05・微分熵與高斯通道
先備知識:IT 04・通道容量與可靠通訊
導覽:本頁與本系列: 導覽:本頁與本系列
本頁內容
資訊理論
你將學到
- 定義微分熵,避免把密度當成機率。
- 追蹤單位與座標改變,同時保留互資訊。
- 從相對熵推導高斯最大熵性質。
- 求平均功率預算下的實數高斯通道容量。
- 以注水法配置平行通道功率。
- 區分解析資訊極限、估計與實作成本。
先看全貌
振幅可以在連續範圍取值,但有雜訊的接收器不能免費區分無限多訊息。更精細的量測需要資源,發送器通常也不能使用任意大的振幅。連續資訊理論會把這些限制明確保留。
本章依 Cover 與 Thomas 第 8–9 章 [1],並補充 Stanford 的連續變數與高斯通道講義 [2,3]。順序很重要:先定義以密度為基礎的資訊,再證明分布上界,最後用它最佳化功率限制下的通訊。
連續公式也出現在視覺特徵、潛在表示與感測器雜訊模型。即使場景不變,數值仍可能隨單位改變。比較關係時,互資訊是更穩定的量。
密度不是點機率
連續密度描述每單位量測的機率。密度大於一完全可能,並不違反機率規則。
對具有密度 的實數隨機變數 ,
是可測區域, 是所選單位的座標, 是密度,不是精確點的機率。一般連續密度下,每個精確點的機率都為零。
寬度十分之一區間上的均勻變數,密度為十;整段區間的機率仍是一。因此,對密度取負對數可能得到負值。
微分熵(differential entropy)為
是底數二的微分熵,積分在密度定義處進行。此式假設積分以適當意義存在。它可能負、無窮,有些分布沒有良好定義的有限熵。
與離散熵不同,微分熵本身不是精確表示連續值所需的最少位元數。精確無限精度重建,是另一個通常無界的要求。
符號刻意以小寫 表示微分熵、大寫 表示離散熵。適當條件下,它們有相似代數關係,解釋與符號限制卻不同。
量化連結到實際符號
真實儀器記錄的是格子,不是無限精確的點。格子越小,描述格子索引需要越多位元。
把純量密度量化成寬度 的格子。密度足夠規則且量化夠細時,
是離散格子索引, 使用與 相同的座標單位。這是細格子漸近關係,受規則性與尾端條件限制。
格子機率約等於密度乘格寬,因此負對數機率約等於負對數密度減去對數格寬。平均後就得到此式。
額外項不是小修正。解析度增加時,它會發散。有限微分熵不會讓任意精確值變得便宜。
粗解析度、尖銳不連續或厚尾下,近似可能不好。真實量化器也可能飽和、格子不均勻,或範圍有限。這些細節會改變離散分布,實際編碼實驗應納入。
對感測器,解析度與物理雜訊都重要。儲存數值精度超過量測精度,不一定創造新場景資訊,可能只是多了表示不確定振幅的數字。
程式:座標單位與量化熵
獨立實驗使用單位均勻變數,在不同解析度計算經驗格子索引熵,並對照縮放後解析微分熵變化。
程式碼 · Python · 18 行
import numpy as np
rng = np.random.default_rng(36)
x = rng.uniform(0, 1, size=100000)
def discrete_entropy(values):
_, counts = np.unique(values, return_counts=True)
p = counts / counts.sum()
return -np.sum(p * np.log2(p))
for bins in [10, 100, 1000]:
indices = np.floor(x * bins).astype(int)
estimated = discrete_entropy(indices)
theoretical = np.log2(bins)
print("Bins / estimated index entropy / exact:", bins, estimated, theoretical)
assert abs(estimated - theoretical) < 0.03
scale = 0.1
h_x, h_scaled = 0.0, np.log2(scale)
print("Differential entropy before / after scaling:", h_x, h_scaled)
assert h_scaled < 0負的縮放熵,不是離散訊息的負不確定性;它反映每單位座標的密度。有限格子估計仍非負,而且罕見格子變多時,抽樣偏差會增加。
座標改變會改變微分熵
同樣長度用毫米而非公尺表示,會把數值分布拉伸,微分熵也跟著變。
對非零純量 與平移 ,
縮放座標, 平移。平移不改變密度體積,縮放則乘上 。對作用於 維向量的可逆矩陣 ,
是非奇異 乘 矩陣, 是平移向量, 是行列式。兩側都需要良好定義的熵。
光滑一對一非線性座標映射 ,有相應 Jacobian 修正:
是 的導數矩陣,在隨機 處評估;期望平均對數體積變化。恆等式需要適當可微性、可逆性與可積分性。
這解釋潛在密度為何依賴表示座標。可逆轉換可以改變微分熵,而不丟棄資訊。只以原始微分熵比較特徵空間,可能把座標膨脹誤認成資訊品質。
從密度推導尺度修正
這個修正可以直接理解,不必死背。令 且 。座標改變保留機率,因此
是轉換後變數, 是座標, 是密度, 是尺度與平移。座標區間擴張 倍,密度就縮小相同比例。因此負對數密度增加常數 ;依未變的事件機率取平均,就得到熵修正。
取寬度 0.1 區間上的均勻來源,微分熵為 。分成十個寬度 0.01 的等格,每格機率十分之一,離散熵為 位元。密度固定且格子與支撐對齊,因此此處細格關係精確成立。
所有座標乘 100 以改變單位後,區間寬十,微分熵變成 ,格寬則變成一。同樣十種結果仍需要 3.321928 位元。縮放使密度熵與格寬修正朝相反方向改變,沒有創造更多可辨事件。只改格子數會改變觀測,改座標單位則不會。
相對熵與互資訊仍有意義
以比值比較密度,會抵消共同座標單位。兩變數關係不應因任一變數換成可逆座標而消失。
對密度 ,
是聯合密度, 是獨立乘積參考。散度非負,支撐或可積分性要求時可為無窮。
分別對 做可逆座標轉換,密度比與積分中的 Jacobian 因子會抵消,所以互資訊不變。非可逆投影或量化不適用;它們可能丟棄資訊,受到資料處理關係控制。
所有熵有限且相容時,
是聯合微分熵, 是平均條件微分熵。條件微分熵可能負,但互資訊仍非負。
若熵差會相減無窮,密度比定義更安全。真正連續變數的無雜訊確定性恆等關係,可能有無窮互資訊與奇異聯合法則;一般全維聯合密度公式需要小心。
對相關係數 的聯合高斯純量對,
是相關係數, 讓共變異數非奇異。只有聯合高斯假設下,相關係數才足以代入此式;一般相依不能只用一個共變異數數值概括。
固定共變異數下,高斯分布有最大熵
在指定共變異數的分布中,高斯以微分熵意義最廣泛地散布不確定性。這是受限制陳述,不是每個來源都高斯的宣稱。
共變異數 的非奇異 維高斯具有
是高斯向量, 是維度, 是正定共變異數, 是自然對數底數。平均值不影響熵。
將另一個具有相同均值與共變異數的密度 ,與高斯密度 比較。高斯對數密度是常數加二次形式。因前兩階動差相同,它在 下的期望等於在 下的期望。因此
具有密度 ,等式假設需要的量有限。它證明最大熵性質,且等號對應高斯分布 [1,2]。
一維固定變異數 ,最大熵為 。只指定支撐範圍,則有不同極值分布:該有界支撐上的均勻密度。限制決定最大熵分布。
這個證明不只對通訊有用。它讓模型選擇透明:從均值與共變異數採用高斯,在最大熵表示中沒有加入額外形狀限制。但它不會驗證擬合、排除多峰,也不讓高斯概似自動對離群值穩健。
共變異數必須對稱正定,不能只檢查行列式為正: 的行列式是一,但變異數為負;這裡 是二維單位矩陣。程式先明確檢查對稱性,再由 Cholesky 分解計算對數行列式 [6]。奇異共變異數描述較低維度的高斯分布;加入對角雜訊會定義不同模型,因此這個全維度熵函式直接拒絕它。
程式:高斯資訊與可逆縮放
完整例子由合成高斯對估計共變異數、計算高斯模型資訊,並驗證可逆縮放改變熵,卻保留資訊公式。
程式碼 · Python · 39 行
import numpy as np
rng = np.random.default_rng(37)
rho = 0.7
covariance = np.array([[1, rho], [rho, 1]])
samples = rng.multivariate_normal([0, 0], covariance, size=100000)
estimated_cov = np.cov(samples, rowvar=False)
def gaussian_entropy(cov):
cov = np.atleast_2d(np.asarray(cov, dtype=float))
if (cov.ndim != 2 or cov.shape[0] != cov.shape[1]
or not np.all(np.isfinite(cov))
or not np.allclose(cov, cov.T, rtol=0, atol=1e-12)):
raise ValueError("Covariance must be a finite symmetric square matrix")
factor = np.linalg.cholesky(cov) # rejects singular or indefinite inputs
logdet = 2*np.log(np.diag(factor)).sum()
d = cov.shape[0]
return 0.5 * (d * np.log(2*np.pi*np.e) + logdet) / np.log(2)
def gaussian_information(cov):
return (gaussian_entropy([[cov[0, 0]]]) +
gaussian_entropy([[cov[1, 1]]]) - gaussian_entropy(cov))
# A positive determinant alone is not a covariance-validity check.
assert np.linalg.det(-np.eye(2)) > 0
for invalid in [-np.eye(2), np.ones((2, 2)), [[1., 1.], [0., 1.]]]:
try:
gaussian_entropy(invalid)
except (ValueError, np.linalg.LinAlgError):
pass
else:
raise AssertionError("Invalid covariance was accepted")
estimated = gaussian_information(estimated_cov)
exact = -0.5 * np.log2(1-rho**2)
transform = np.diag([100, 0.2])
scaled_cov = transform @ estimated_cov @ transform.T
assert abs(gaussian_information(scaled_cov) - estimated) < 1e-12
assert abs(gaussian_entropy(scaled_cov) - gaussian_entropy(estimated_cov)
- np.log2(abs(np.linalg.det(transform)))) < 1e-12
assert abs(estimated - exact) < 0.02
print("Estimated Gaussian-model MI / exact MI:", estimated, exact)
print("Entropy shift:", gaussian_entropy(scaled_cov) - gaussian_entropy(estimated_cov))這是高斯參數計算,不是通用互資訊估計器。非高斯資料集代入共變異數,回答的是高斯模型問題,可能漏掉大量非線性相依。
推導實數高斯通道容量
訊號功率增加可區分輸出的散布;雜訊則讓它們模糊。精確高斯模型下,容量取決於兩者比例。
每次使用傳一個實數振幅:
是輸入, 是輸出, 是獨立零均值高斯雜訊, 是雜訊變異數, 是平均輸入功率, 表示獨立。各次使用的雜訊獨立且同分布。
給定 ,只剩平移雜訊,所以 。輸出變異數至多 。高斯最大熵因此給
是訊雜比。獨立高斯輸入 讓輸出高斯,達到此單字母上界。相應編碼定理建立
在標準平均功率模型下,每次實數通道使用的位元容量 [1,3]。最大化輸入均值為零,因確定性均值消耗功率,卻不增加可區分變動。

平均功率限制不會替每個振幅設定嚴格最大值。加入峰值振幅限制,會改變最佳輸入分布,通常也改變容量。有限星座則定義更受限的訊號問題。
類似的複數公式常沒有二分之一,因一次複數使用含兩個實數維度,配合相應功率與雜訊慣例。未定義一次使用就比較公式,可能創造假的兩倍改善。
幾何觀點與限制
多次使用時,雜訊讓觀測形成發送碼字周圍的雲。好的碼字距離夠遠,讓雲通常可區分。
對 個獨立高斯雜訊樣本,平方範數集中於 附近:
是第 次雜訊,箭頭表示適當大數法則收斂。功率限制碼字的輸入半徑尺度約 ,輸出尺度則較大,涉及 。
比較高維輸出體積與雜訊雲體積,暗示碼字數尺度為 ;正規化二進位對數就是容量式。這是幾何解釋,不是高斯雜訊支撐有界的宣稱。
雜訊有正機率離開任意有限球。可靠通訊要求非典型觀測足夠罕見,不要求所有可能結果的雜訊雲完全不重疊。這區分了誤差趨零容量與零錯誤通訊。
幾何也說明單次使用圖形為何可能誤導。長區塊允許很多座標合作,整體範數集中;短區塊星座則有自己的距離與解碼取捨。
平行通道與注水法
多個獨立通道雜訊不同時,把功率放在資訊邊際增加最多的地方。很吵的通道可能完全不分配功率。
對 個雜訊變異數 的平行實數高斯通道,在總功率 下分配 :
索引平行維度, 是數量,目標是所有維度聯合使用一次的位元。獨立高斯輸入達到各分量速率。
作用中功率的導數為 。共同預算下令導數相等,得到
是水位,。符號表示在雜訊地板上加水:作用中通道達到共同訊號加雜訊水位。
此結果來自凹最佳化的最佳性條件。雜訊地板高於水位的通道分配為零;若給正功率,邊際回報比作用中的低雜訊通道差。

手算圖中的功率配置
雜訊地板為 0.2、0.8、1.6、3.0,總訊號功率預算二。先假設只啟用第一通道,總水位會是 ,高於第二地板,因此讓第二通道完全不用不可能最佳。
改假設啟用前兩通道,功率總和為 ,得到 。它高於兩個作用中地板、低於下一地板 1.6,因此作用集合與假設一致。功率配置為 1.3、0.7、零、零。
聯合使用速率為 位元。每通道平均分配 0.5,約得到 1.561252 位元。兩種設計都使用總功率二,改善來自配置位置,不是增加預算。
第三通道在水位超過 1.6 時啟用,先需要預算 。第四通道在水位超過三時啟用,閾值為 。這些閾值解釋容量與功率曲線中作用集合如何改變。
共同訊號加雜訊水位只適用作用中通道。地板高於水位者維持零訊號功率。這個互補條件說明:若強迫四通道全部有相同總水位,就會得到不可能的負功率。
程式:求水位並比較平均配置
完整例子以二分搜尋求水位,驗證預算與作用中最佳性條件,再比較平均功率速率。
程式碼 · Python · 20 行
import numpy as np
noise = np.array([0.2, 0.8, 1.6, 3.0])
budget = 2.0
low, high = noise.min(), noise.max() + budget
for _ in range(100):
level = (low + high) / 2
if np.maximum(level-noise, 0).sum() > budget:
high = level
else:
low = level
level = (low + high) / 2
power = np.maximum(level-noise, 0)
equal = np.full(len(noise), budget / len(noise))
rate = lambda allocation: 0.5*np.log2(1+allocation/noise).sum()
assert abs(power.sum()-budget) < 1e-12
assert np.allclose(noise[power > 0]+power[power > 0], level)
assert rate(power) >= rate(equal)
print("Water level / power allocation:", level, power)
print("Water-filled / equal-allocation joint rate:", rate(power), rate(equal))目標計算每個維度同時使用一次。除以維度數,會得到不同的每維平均;兩者都要先指定使用速率,才能轉成每秒位元。
有色高斯雜訊下,在相容線性輸入與功率假設中,共變異數特徵基底可以建立平行雜訊模式。有通道增益時,有效雜訊地板也依賴增益。零增益不能透過反轉變成有用通道。
向量通道連結幾何與共變異數
多個量測可以對多個輸入座標帶來重疊資訊。矩陣描述混合,共變異數描述雜訊雲與所選訊號散布。
實數線性通道為
是 維輸入, 是 維輸出, 是 乘 通道矩陣, 是輸入共變異數, 是正定雜訊共變異數。輸入矩陣可半正定,允許不使用部分方向。
輸出共變異數為 。相減高斯輸出與條件雜訊熵,得到
是矩陣轉置,行列式使用輸出維度共變異數。即使訊號低秩,正雜訊共變異數也讓分母與輸出共變異數非奇異。
平均總功率慣例下, 限制輸入座標變異數總和。在半正定 上最大化上式,就是相應高斯向量通道問題 [1]。跡是對角元素總和, 是每次向量使用總功率。
有用方向同時依賴 與 。很大的原始座標變異數,可能在通道強烈衰減的方向;相關雜訊也可能讓某方向比邊際變異數暗示的更少資訊。相容轉換問題的對角化,揭露能使用相同邊際回報原則的平行模式。
這也說明應區分前處理與物理通道改變。可逆接收器座標轉換,同時改變訊號矩陣與雜訊共變異數,行列式比保持不變。投影會丟棄輸出方向,可能降低資訊;不可逆發送器映射則改變能產生哪些輸入訊號。
數值計算應用穩定分解求對數行列式,不要先算巨大行列式再取對數。行列式可能溢位,對數卻適中。解讀答案前,先檢查正定性與矩陣維度。
條件熵與確定性表示
表示在數值上可以連續,卻只含有限可能狀態。數學分布取決於如何生成,不取決於陣列用浮點數儲存。
微分熵定義假設相對連續座標體積有密度。浮點數儲存的離散標籤仍是離散;有限資料集經確定性映射得到的向量,即使座標為實數,經驗支撐仍有限。
高維特徵空間中的低維流形,相對全維體積具有奇異分布。擬合全維密度隱含加入雜訊或平滑模型。得到的熵屬於該模型,可能強烈依賴尺度。
同樣地,在確定性連續關係加入微小獨立雜訊,會讓密度計算可行,但雜訊大小成為資訊問題的一部分。當大小趨近零,互資訊可能趨無窮。未報告平滑慣例就給有限值,會隱藏此依賴。
比較神經表示時,這些觀察很有用。與離散任務標籤相關的資訊可保持有限,精確確定性連續輸入與表示的資訊卻可能奇異。壓縮或預測目標必須指定哪些變數、雜訊機制與量化器定義速率。
實務做法是先說明觀測模型,再估計資訊:離散格子、明確含雜訊通道、參數密度或固定解析度編碼程序。它們各有正當用途,也回答不同問題。
加入雜訊趨零,資訊為什麼可能發散?
令 ,表示為 ,其中獨立雜訊 的變異數 為正。這是訊號功率一的高斯通道,因此 。 時資訊為半位元, 時約 3.329106 位元。雜訊變異數趨零,資訊無界增加。
雜訊恰好零時, 是精確連續副本,點對落在二維聯合空間的一條線上,沒有一般二維聯合密度。因此不能在該端點直接相減邊際與聯合微分熵。有限解析度分格則給出有限離散資訊問題。雜訊或解析度慣例,決定神經表示估計究竟回答哪個問題。
建模與估計:公式證明什麼
高斯公式證明的是高斯問題,不會把每個共變異數估計都變成可靠物理通訊極限。
純量容量推導使用獨立加性高斯雜訊、平均二階動差預算,以及無界實數輸入字母。裁切、量化、訊號相依雜訊或改變中的雜訊分布,可能違反一項以上假設。
有限輸出量化器的資訊,不能超過可能標籤數的對數。量化前算出的實數容量,是另一觀測模型的上界參考,不保證量化接收器能達到。
非高斯來源使用高斯熵近似,在必要條件下給動差上界,而非量測熵值。均值與共變異數吻合,不代表尾端或相依吻合。
維度相對觀測太高時,有限樣本共變異數可能奇異,對數行列式公式可能失效。正則化共變異數會建立修改後統計模型;正則化值影響資訊,應明確說明。
評估時應分開物理雜訊模型、座標慣例、估計參數與觀察到的解碼器表現。合成測試可以驗證代數與實作,假設則須由獨立收集資料驗證。
現代觀點
Butakov 等人的 NeurIPS 2024 論文 [4],研究透過 normalizing-flow 轉換估計互資訊。它提供利用可逆密度模型協助估計的現代例子,但仍須評估估計器,不能把座標熵解讀成內在資訊。
當代語意通訊文獻的綜述觀點 [5] 區分接收器建模、生成式重建與學得聯合編碼。對連續通道,我們由此推論:應明確回報功率正規化、實數或複數使用慣例、接收器量化與通道失配。
重建影像很好看,仍可能對某個原始細節只有少量忠實資訊。任務目標可能刻意丟棄該細節;這是率失真選擇,不是另一種微分熵慣例。
開放問題包括高維可靠資訊估計、分布偏移下的概似模型評估、兩端一致處理有限精度,以及讓學得系統資源計算符合物理通道。可逆性與高斯假設簡化數學分析,卻不能代替這些檢查。
下一章問:容許部分重建誤差時,來源需要多少資訊?高斯容量處理如何運送資訊,高斯率失真則處理來源需求多少資訊。
重點整理
- 密度是每單位座標的機率,不是點機率。
- 微分熵可負,會隨座標縮放改變。
- 細量化加入與解析度相關的離散描述成本。
- 相對熵與互資訊在可逆座標轉換下保留。
- 高斯最大熵來自固定動差限制。
- 實數高斯容量含明確平均功率預算與二分之一。
- 注水法讓作用中平行通道邊際回報相等。
- 參數資訊公式與經驗解碼可靠性回答不同問題。
練習
- 求寬度 0.01 的均勻變數微分熵,說明負值為何不允許負長度碼。
提示
用區間寬度對數,另外處理格子編碼。
- 把單位均勻來源量化成 16、64、256 個等格,求精確離散熵並連到微分熵。
提示
每格等機率。
- 驗證聯合高斯對分別非零縮放的互資訊不變性。若一變數取整成單一位元,會改變什麼?
提示
可逆尺度的行列式抵消,取整不可逆。
- 比較訊雜比 0.1、10 時,功率倍增的容量增益。說明絕對速率增加與相對功率增加為何不同。
提示
相減倍增前後容量。
- 增加注水預算直到第三、第四通道作用,從雜訊地板算出啟用閾值。
提示
把水位設為下一雜訊地板。
- 說明只有兩輸出標籤的裁切接收器違反哪些假設,並給與訊號功率無關的資訊上界。
提示
輸出熵至多一位元。
參考文獻
-
T. M. Cover and J. A. Thomas, Elements of Information Theory, 2nd ed., Wiley, 2006, Chapters 8–9. 出版社書頁與目錄。
-
T. Weissman, “Continuous Random Variables,” Stanford EE276 Lecture 8 notes, 2024. 第一手講義。
-
T. Weissman, “AWGN Channel,” Stanford EE276 Lecture 9 notes, 2024. 第一手講義。
-
I. D. Butakov, A. D. Tolmachev, S. V. Malanchuk, A. M. Neopryatnaya and A. A. Frolov, “Mutual Information Estimation via Normalizing Flows,” NeurIPS, 2024. 出版論文。
-
L. X. Nguyen, A. D. Raha, P. S. Aung, D. Niyato, Z. Han and C. S. Hong, “A Contemporary Survey on Semantic Communications: Theory of Mind, Generative AI, and Deep Joint Source-Channel Coding,” IEEE Communications Surveys & Tutorials, 2025. 出版資訊與作者版本。
-
NumPy developers, “numpy.linalg.cholesky,” NumPy documentation, accessed 2026-11-05. 官方 API 文件.
檢查理解
本篇有 6 題練習。不看提示,你能解出來嗎?
前往練習 ↑下一篇 IT 06・率失真與有損表示 · 15 分鐘