完整搜尋頁面 →

IT 06・率失真與有損表示

資訊理論進階15 分鐘更新於 2026年10月4日

先備知識:IT 05・微分熵與高斯通道

導覽:本頁與本系列: 導覽:本頁與本系列
用實驗理解本章 1 個互動實驗

觀察 Bernoulli 碼率失真曲線,以及在 Hamming 誤差下達到它的聯合分布。

你將學到

  • 稱重建可接受之前,先指定失真函數。
  • 區分操作速率與資訊論測試通道。
  • 推導 Bernoulli/Hamming 與高斯/平方誤差率失真函數。
  • 解釋覆蓋可達性與逆定理的資訊計算。
  • 以交替更新計算有限字母率失真點。
  • 把實際量化與學習目標連到誠實的速率、品質量測。

先看全貌

無損編碼要求精確原始資料;有損編碼要求有用替代品。後者必須先給「有用」數學意義:哪些差異重要、成本多大,以及限制指平均誤差,還是罕見的大失敗。

本章依 Cover 與 Thomas 第 10 章 [1],以及 Stanford 的率失真講義 [2,3]。核心結果對假想重建法則最小化互資訊。最佳化定義極限,本身不建立有限檔案格式,也不保證神經解碼器行為。

這直接連到視覺:像素重建、機器可讀特徵與合理生成影像,保留不同性質。比較速率、失真以前,應明確說明目標與資源慣例。

先選失真,再選編碼器

誤差量指定接收器容忍哪些來源差異。沒有任何通用失真分數能涵蓋所有任務。

令 XX 為來源符號,X^\widehat X 為可能屬於不同字母集合的重建。非負失真函數為 d(x,x^)d(x,\widehat x)。長度 nn 區塊的失真為

dn(xn,x^n)=1n∑t=1nd(xt,x^t).d_n(x^n,\widehat x^n) =\frac1n\sum_{t=1}^{n}d(x_t,\widehat x_t).

tt 索引符號,nn 是區塊長度,dnd_n 是每符號平均失真。常見限制是 E[dn(Xn,X^n)]≤D\mathbb E[d_n(X^n,\widehat X^n)]\leq D;DD 是允許平均值,期望依指定來源與編碼。

Hamming 失真在符號正確時零,其他時一。實數振幅的平方誤差為 (x−x^)2(x-\widehat x)^2。前者計不符次數,後者更重視大數值偏差,回答不同問題。

平方誤差依賴單位。來源與重建乘以 aa,失真乘以 a2a^2。率失真曲線應寫明來源正規化、維度平均與失真單位。

一般加性模型替每符號計成本再平均。結構化任務可能需要區塊準則,例如保留關係、罕見特徵或決策。仍可研究,但不會自動等同單字母問題。

平均失真不會限制每個重建的最壞誤差。小平均可能伴隨罕見大誤差。需要尾端機率、最大誤差或各群組保證時,應另列條件,不要從平均值推讀。

重建字母集合也是定義的一部分。限制為小碼本、整數像素或特定模型族,會縮小可行集合,無限制理論最佳值可能無法達到。反過來,允許輸出任務標籤而非影像,會改變字母集合與失真問題。公平比較應先說明選擇,再展示速率,讓讀者判斷系統是否保留同一物件。

操作與資訊論率失真

實際編碼發送有限描述之一;測試通道描述來源與重建可能的統計關係。定理連結它們的漸近極限。

區塊編碼器把 XnX^n 映到 MM 個索引之一,解碼器把索引映到 X^n\widehat X^n。固定速率為

Rn=1nlog⁡2M.R_n=\frac1n\log_2M.

MM 是可發送描述數,RnR_n 是每來源符號位元。操作函數 R(D)R(D) 是指定失真下,漸近可達速率的下確界。

獨立無記憶來源與適當加性失真設定下,率失真定理給

R(D)=min⁡p(x^∣x): E[d(X,X^)]≤DI(X;X^).R(D)=\min_{p(\widehat x\mid x):\,\mathbb E[d(X,\widehat X)]\leq D} I(X;\widehat X).

來源法則 p(x)p(x) 固定,p(x^∣x)p(\widehat x\mid x) 遍歷正規化重建法則。最小值符號適用最佳解存在的設定;更一般連續情況可能需要下確界與正則條件 [1,2]。

此重建法則常稱測試通道(test channel)。與通訊容量不同,它不最佳化來源輸入。容量在給定物理通道下最大化傳輸資訊,率失真在重建限制下最小化所需資訊。

隨機測試通道是描述所需聯合分布的數學物件。操作定理以區塊碼逼近資訊速率。逐符號獨立抽取含雜訊重建,本身不會說明接收器需要多少位元才能重現抽樣。

基本形狀與零速率重建

容許更多誤差,不會需要更多位元。某個失真以上,接收器可以固定輸出同一重建,完全不需訊息。

定義

D0=min⁡x^E[d(X,x^)].D_0=\min_{\widehat x}\mathbb E[d(X,\widehat x)].

D0D_0 是最佳常數重建的平均失真,x^\widehat x 不依觀察來源選擇。D≥D0D\geq D_0 時,零速率可行。

標準設定下 R(D)R(D) 非負、非遞增且凸。非遞增是因更大的失真容許值包含先前所有可行編碼。

凸性有分時解釋。長區塊的 α\alpha 比例使用第一種碼,其餘用第二種:

R(αD1+(1−α)D2)≤αR(D1)+(1−α)R(D2).R(\alpha D_1+(1-\alpha)D_2) \leq\alpha R(D_1)+(1-\alpha)R(D_2).

α∈[0,1]\alpha\in[0,1] 是比例,D1,D2D_1,D_2 是各失真,右側是平均速率。預定區塊邊界可以避免逐符號發送選擇。

零失真時,有限來源若只有完全相同才零成本,就回到一般熵極限。若數種不同來源值都同樣正確,零失真可能需要少於來源熵。真正連續高斯來源的平方誤差零失真速率則發散。

這些條件很重要。沒有指定失真零集合或字母集合,就說「零失真等於熵」,可能抹掉任務表示能壓縮的原因。

Hamming 誤差下的二元來源

公平二元來源要每符號一位元才能精確保留。容許受控的不符比例,會降低必要速率。

對 X∼Bernoulli⁡(p)X\sim\operatorname{Bernoulli}(p)、0<p≤1/20<p\leq1/2 與 Hamming 失真,

R(D)={h2(p)−h2(D),0≤D≤p,0,D≥p.R(D)= \begin{cases} h_2(p)-h_2(D),&0\leq D\leq p,\\ 0,&D\geq p. \end{cases}

pp 是一的機率,DD 是不符機率,h2h_2 是二元熵。零速率重建永遠為零,因此錯誤占來源符號比例 pp。

為求下界,令 E=X⊕X^E=X\oplus\widehat X 是不符指示,⊕\oplus 表二元互斥或。則

I(X;X^)=H(X)−H(E∣X^)≥h2(p)−h2(D).I(X;\widehat X) =H(X)-H(E\mid\widehat X) \geq h_2(p)-h_2(D).

EE 為一的機率至多 D≤p≤1/2D\leq p\leq1/2,二元熵在此範圍遞增。條件化不能增加離散熵。

等號以反向建構達到:選 X^\widehat X 與獨立 E∼Bernoulli⁡(D)E\sim\operatorname{Bernoulli}(D),再令 X=X^⊕EX=\widehat X\oplus E。重建機率滿足

Pr⁡(X^=1)=p−D1−2D.\Pr(\widehat X=1)=\frac{p-D}{1-2D}.

D<p≤1/2D<p\leq1/2 避開公平來源的奇異端點;端點由連續性或直接常數重建處理。建構符合指定來源法則,並讓不符與重建獨立。

公平來源在 D=1/2D=1/2 前為 1−h2(D)1-h_2(D)。有偏來源若直接以前向機率 DD 翻轉 XX,一般不會達到相同最佳值。獨立條件的方向是推導一部分。

建立最佳二元聯合表

把機率逐項寫出,反向建構就更清楚。取來源機率 p=0.2p=0.2、允許不符 D=0.1D=0.1。若 q=Pr⁡(X^=1)q=\Pr(\widehat X=1),重建與不符獨立,則

p=q(1−D)+(1−q)D=D+q(1−2D).p=q(1-D)+(1-q)D=D+q(1-2D).

pp 是要求的來源一機率,qq 是重建一機率,DD 是獨立反向翻轉機率。解得 q=(0.2−0.1)/(1−0.2)=0.125q=(0.2-0.1)/(1-0.2)=0.125。重建機率乘獨立誤差機率,得到:

聯合機率X^=0\widehat X=0X^=1\widehat X=1來源邊際
X=0X=00.78750.01250.8
X=1X=10.08750.11250.2
重建邊際0.8750.1251.0

非對角項總和為 0.1,恰好符合失真限制。每個重建欄除以總和後,來源與重建不同的機率都是 0.1。因此 H(X∣X^)=h2(0.1)H(X\mid\widehat X)=h_2(0.1),必要資訊為每來源符號 h2(0.2)−h2(0.1)=0.252933h_2(0.2)-h_2(0.1)=0.252933 位元。

等價的前向條件通道不對稱。給定 X=0X=0,輸出一的機率是 0.0125/0.8=0.0156250.0125/0.8=0.015625;給定 X=1X=1,輸出零的機率是 0.0875/0.2=0.43750.0875/0.2=0.4375。罕見一的錯誤大、常見零的錯誤小,合計達到指定平均誤差,並符合最佳後驗不確定性。

相較之下,以 0.1 機率獨立前向翻轉來源,平均失真相同,但重建一的機率為 0.26。資訊變成 h2(0.26)−h2(0.1)=0.357751h_2(0.26)-h_2(0.1)=0.357751 位元,大於最佳值。「百分之十雜訊」不足以定義最佳測試通道;方向與獨立關係也重要。

程式碼 · Python · 20 行
import numpy as np

def entropy(p):
    p = np.asarray(p, dtype=float)
    positive = p > 0
    return -np.sum(p[positive] * np.log2(p[positive]))

source_one, D = 0.2, 0.1
q = (source_one-D)/(1-2*D)
joint = np.array([[(1-q)*(1-D), q*D],
                  [(1-q)*D, q*(1-D)]])
px, pr = joint.sum(axis=1), joint.sum(axis=0)
information = entropy(px)+entropy(pr)-entropy(joint)
assert np.allclose(px, [0.8, 0.2])
assert np.isclose(joint[0, 1]+joint[1, 0], D)
assert np.allclose([joint[1, 0]/pr[0], joint[0, 1]/pr[1]], D)
exact = entropy(px)-entropy([D, 1-D])
assert np.isclose(information, exact)
print("Backward joint table:", joint)
print("Optimal information:", information)

計算驗證的是統計最佳值,仍需要長區塊碼,才能把該資訊速率轉成傳送的重建索引。

平方誤差下的高斯來源

較分散的高斯來源,需要更多位元才能有相同絕對精度。要求更小誤差,速率以對數增加。

對 X∼N(0,σ2)X\sim\mathcal N(0,\sigma^2) 與 d(x,x^)=(x−x^)2d(x,\widehat x)=(x-\widehat x)^2,

R(D)=max⁡{0,12log⁡2σ2D},D>0.R(D)=\max\left\{0,\frac12\log_2\frac{\sigma^2}{D}\right\}, \qquad D>0.

σ2\sigma^2 是來源變異數,DD 是相同平方單位的均方誤差。D≥σ2D\geq\sigma^2 時,零重建不用位元。D→0D\to0 時,速率無界增加 [1,3]。

令 E=X−X^E=X-\widehat X 是重建誤差。相容有限微分熵下,

I(X;X^)=h(X)−h(E∣X^)≥h(X)−h(E)≥12log⁡2σ2D.\begin{aligned} I(X;\widehat X) &=h(X)-h(E\mid\widehat X)\\ &\geq h(X)-h(E) \geq\frac12\log_2\frac{\sigma^2}{D}. \end{aligned}

互資訊良好定義時,條件化降低微分熵;高斯最大熵以二階動差限制誤差熵。此式是非零速率範圍的下界。

資訊論最小值的可達建構使用獨立 X^∼N(0,σ2−D)\widehat X\sim\mathcal N(0,\sigma^2-D) 與 E∼N(0,D)E\sim\mathcal N(0,D),並令 X=X^+EX=\widehat X+E。再次是反向測試通道:誤差與重建獨立,不是與來源獨立。

等價失真速率關係為 D(R)=σ22−2RD(R)=\sigma^2 2^{-2R},描述漸近最佳區塊編碼。簡單純量量化器在其速率下,一般位於極限上方。

公平二元來源的 Hamming 率失真曲線,以及單位變異數高斯來源的平方誤差曲線。
圖 1 — 具有不同失真意義的解析例子。橫軸數值不能當成共同品質分數比較。

程式:測試高斯反向建構

完整合成實驗驗證來源變異數、誤差變異數與資訊公式。它沒有序列化區塊碼,只測最佳化聯合分布。

程式碼 · Python · 16 行
import numpy as np

rng = np.random.default_rng(38)
variance, distortion = 1.0, 0.2
reconstruction = rng.normal(0, np.sqrt(variance-distortion), size=100000)
error = rng.normal(0, np.sqrt(distortion), size=100000)
source = reconstruction + error
rho = np.corrcoef(source, reconstruction)[0, 1]
information = -0.5 * np.log2(1-rho**2)
exact = 0.5 * np.log2(variance/distortion)
print("Source variance / error MSE:", source.var(), np.mean(error**2))
print("Error-reconstruction correlation:", np.corrcoef(error, reconstruction)[0, 1])
print("Gaussian-model information / exact rate:", information, exact)
assert abs(source.var()-variance) < 0.02
assert abs(np.mean(error**2)-distortion) < 0.01
assert abs(information-exact) < 0.02

獨立性在取樣時就建立;有限相關只是檢查。任意非高斯變數的經驗相關很小,不能單獨證明獨立。

為何覆蓋不同於通道打包

有損來源碼需要足夠重建代表,在允許誤差內覆蓋可能來源區塊。通道碼則分隔傳輸代表,抵抗雜訊。

固定可行來源重建聯合分布,從重建邊際抽許多碼字。對典型來源區塊,隨機重建符合聯合關係的機率,指數尺度為 2−nI(X;X^)2^{-nI(X;\widehat X)}。

代表數超過約 2nI(X;X^)2^{nI(X;\widehat X)} 並帶小速率餘裕,就很可能找到匹配。編碼器選索引,解碼器回傳共享重建;聯合典型性把所選點對連到目標失真。

這是覆蓋論證。精確證明需要典型性定義與來源、失真假設;指數尺度解釋速率,不是有限碼表現公式。

逆定理使用傳輸索引 JJ:

nRn≥H(J)≥I(Xn;X^n)≥∑t=1nR(Dt)≥nR(1n∑tDt).nR_n\geq H(J)\geq I(X^n;\widehat X^n) \geq\sum_{t=1}^{n}R(D_t) \geq nR\left(\frac1n\sum_tD_t\right).

JJ 遍歷 MM 個描述,Rn=log⁡2M/nR_n=\log_2M/n,Dt=E[d(Xt,X^t)]D_t=\mathbb E[d(X_t,\widehat X_t)],來源無記憶。第一資訊界使用重建由索引決定;逐符號步驟用來源獨立與資訊論定義;最後用凸性。

編碼傳達的來源資訊,不能超過索引所含資訊。這說明解碼器再精細的先驗,也不能以零來源速率恢復任意遺失細節;它可以依指定失真選有用或可能的重建。

計算有限測試通道

離散字母下,交替更新重建邊際與來源條件重建法則。懲罰參數會沿率失真前緣移動。

最小化自然單位目標 Inats(X;X^)+βE[d]I_{\mathrm{nats}}(X;\widehat X)+\beta\mathbb E[d],β≥0\beta\geq0。給目前重建邊際 qx^q_{\widehat x},

V(x^∣x)=qx^exp⁡[−βd(x,x^)]∑zqzexp⁡[−βd(x,z)],qx^new=∑xpxV(x^∣x).V(\widehat x\mid x) =\frac{q_{\widehat x}\exp[-\beta d(x,\widehat x)]} {\sum_zq_z\exp[-\beta d(x,z)]}, \qquad q_{\widehat x}^{\mathrm{new}}=\sum_xp_xV(\widehat x\mid x).

pxp_x 是固定來源法則,VV 是測試通道,zz 索引重建,β\beta 以自然單位衡量失真懲罰。位元速率將自然單位資訊除以 ln⁡2\ln2。

教科書 [1] 討論 Blahut–Arimoto 交替計算。正初始邊際涵蓋全部候選重建符號。解出後應計算實際失真與互資訊,不要把 β\beta 本身稱為失真。

指數測試通道更新從哪裡來?

交替規則來自受限制最小化,不是因為某公式看起來像機率。暫時固定正的重建邊際 qjq_j,對來源狀態 ii 最小化列貢獻

∑jVij[ln⁡(Vij/qj)+βdij],∑jVij=1.\sum_j V_{ij}\big[\ln(V_{ij}/q_j)+\beta d_{ij}\big], \qquad \sum_jV_{ij}=1.

VijV_{ij} 是給定來源 ii 的重建 jj 條件機率,qjq_j 是固定參照邊際,dijd_{ij} 是失真,β\beta 是自然單位懲罰。正來源權重 pip_i 乘此列,但不改變最小化的條件分布。

加入列正規化乘子 ηi\eta_i,對 VijV_{ij} 微分,駐點方程為 ln⁡(Vij/qj)+1+βdij+ηi=0\ln(V_{ij}/q_j)+1+\beta d_{ij}+\eta_i=0。取指數使 VijV_{ij} 正比於 qjexp⁡(−βdij)q_j\exp(-\beta d_{ij}),列正規化再提供更新式分母。

接著固定 VV,其誘導邊際 qjnew=∑ipiVijq_j^{\mathrm{new}}=\sum_i p_iV_{ij} 在正規化 qq 中最小化交叉熵部分。指定有限字母設定下,交替兩步降低懲罰目標。幾何也很清楚:β\beta 大時各列集中於低失真重建,邊際因子則偏向母體常使用的重建。

公平二元來源與 Hamming 失真下,對稱性保持 qq 均勻,非對角機率因此是 D=1/(1+eβ)D=1/(1+e^\beta),速率為 1−h2(D)1-h_2(D)。程式檢查的正是此解析關係。它直接解釋懲罰,而不把懲罰值當成實際失真。

程式:對照精確二元曲線

實作檢查重建邊際收斂,以獨立解析公式驗證點。容許誤差是數值更新容許值,不是前章容量上下界間隙。

程式碼 · Python · 37 行
import numpy as np
from scipy.special import logsumexp

def entropy(p):
    p = np.asarray(p)
    return -np.sum(p[p > 0] * np.log2(p[p > 0]))
def rd_point(p, distortion_matrix, beta):
    p = np.asarray(p, dtype=float)
    d = np.asarray(distortion_matrix, dtype=float)
    q = np.full(d.shape[1], 1/d.shape[1])
    for _ in range(50000):
        scores = np.log(q)[None, :] - beta*d
        V = np.exp(scores-logsumexp(scores, axis=1, keepdims=True))
        updated = p @ V
        if np.max(abs(updated-q)) < 1e-13:
            q = updated
            break
        q = updated
    else:
        raise RuntimeError("Rate-distortion updates did not converge")
    joint = p[:, None]*V
    positive = joint > 0
    ratio = np.divide(V, q[None, :], out=np.ones_like(V), where=positive)
    rate = np.sum(joint[positive]*np.log2(ratio[positive]))
    distortion = np.sum(joint*d)
    return rate, distortion, V

d = np.array([[0, 1], [1, 0]])
for beta in [0.0, 1.0, 2.0, 4.0]:
    rate, D, V = rd_point([0.5, 0.5], d, beta)
    exact = 1-entropy([D, 1-D])
    assert abs(rate-exact) < 1e-10
    print("Penalty / D / rate / exact:", beta, D, rate, exact)
rate, D, V = rd_point([0.8, 0.2], d, 4.0)
exact = entropy([0.8, 0.2])-entropy([D, 1-D])
assert D < 0.2 and abs(rate-exact) < 1e-9
print("Biased-source D / rate / exact:", D, rate, exact)

任意失真矩陣的小邊際更新差,是有用收斂檢查,但不是嚴格全域數值憑證。應看目標改變、支撐與獨立特殊例子。很大懲罰可能造成機率下溢,需要更仔細實作。

純量量化是具體可達設計

把來源取整至有限解析度格點,再無損描述格點索引。取整造成失真,機率編碼降低索引速率。

步距 Δ\Delta 下使用

K=round⁡(X/Δ),X^=ΔK,DΔ=E[(X−X^)2].K=\operatorname{round}(X/\Delta),\qquad \widehat X=\Delta K,\qquad D_\Delta=\mathbb E[(X-\widehat X)^2].

KK 是離散索引,X^\widehat X 是格點重建,DΔD_\Delta 是平方誤差失真。熵編碼索引的速率由索引分布決定,再加實際編碼成本。

密度夠平滑、步距夠小時,常用近似 DΔ≈Δ2/12D_\Delta\approx\Delta^2/12,把量化誤差視為格內近似均勻。粗步距、裁切附近或結構化集中數值,不一定符合。

固定種子的純量高斯量化,經驗索引熵與均方誤差位於解析高斯率失真曲線上方。
圖 2 — 20,000 個合成單位高斯樣本。索引熵是理想邊際編碼統計,沒有宣稱實際位元流長度。
程式碼 · Python · 14 行
import numpy as np

rng = np.random.default_rng(26)
source = rng.normal(size=20000)
for step in [0.1, 0.2, 0.4, 0.8, 1.6]:
    index = np.rint(source/step).astype(int)
    reconstruction = step*index
    _, counts = np.unique(index, return_counts=True)
    p = counts/counts.sum()
    rate_estimate = -np.sum(p*np.log2(p))
    mse = np.mean((source-reconstruction)**2)
    gaussian_limit = max(0, 0.5*np.log2(1/mse))
    print("Step / index entropy / MSE / reference rate:",
          step, rate_estimate, mse, gaussian_limit)

經驗分布來自同一批量化樣本,所以是描述統計。比較學得熵模型時,應另用訓練觀測擬合,在固定保留資料評分,並以明確慣例傳輸或共享參數。

索引熵不是實際壓縮檔大小。編碼器還須指定索引支撐、超界處理、重建步距、訊息長度與熵編碼終止。有限經驗估計可能在理論關係附近波動,不會推翻母體定理。

平行高斯來源使用反向注水

有限描述預算應更仔細保留高變異來源方向。低變異方向的整體變動若已在誤差容許值內,就可以捨棄。

對變異數 σi2\sigma_i^2 的獨立高斯座標,總平方誤差預算為 DtotalD_{\mathrm{total}}:

R(Dtotal)=min⁡∑iDi≤Dtotal∑imax⁡{0,12log⁡2σi2Di}.R(D_{\mathrm{total}}) =\min_{\sum_iD_i\leq D_{\mathrm{total}}} \sum_i\max\left\{0,\frac12\log_2\frac{\sigma_i^2}{D_i}\right\}.

ii 索引座標,DiD_i 是各自均方誤差,RR 是完整來源向量的位元。正速率範圍中,微分目標使最佳作用中失真相等:

Di=min⁡(θ,σi2),∑imin⁡(θ,σi2)=Dtotal.D_i=\min(\theta,\sigma_i^2), \qquad \sum_i\min(\theta,\sigma_i^2)=D_{\mathrm{total}}.

θ\theta 是反向水位,在預算小於總來源變異數時選擇。變異數低於水位的座標重建為均值,付出全部變異數但不付速率。

與通道注水的相似很有啟發,但角色不同。通道配置在雜訊地板上花訊號功率,最大化運送資訊;來源配置允許誤差到來源變異數,最小化所需描述資訊。

相關高斯向量的正交共變異數特徵基底,會產生獨立座標且保留總平方誤差,配置因此作用於特徵值。非線性任務失真或非高斯分布,不一定能簡化成相同計算。

這也說明低維重建的好處與限制。捨棄低變異座標,對總平方誤差便宜,但該座標仍可能決定特定標籤。任務相關與變異數是不同準則。

反向注水配置例

取三個獨立高斯座標,變異數為 4、1、0.25,每向量允許總平方誤差一。若每座標都給三分之一誤差,第三座標的預算會浪費:直接重建為零,已經只有 0.25 誤差。

其餘兩座標的最佳共同誤差水位滿足 θ+θ+0.25=1\theta+\theta+0.25=1,得到 θ=0.375\theta=0.375。失真為 0.375、0.375、0.25,總和一。必要速率為

R=12log⁡240.375+12log⁡210.375+0≈2.415037.R=\frac12\log_2\frac4{0.375} +\frac12\log_2\frac1{0.375}+0 \approx2.415037.

RR 是每個三座標來源向量的位元數。前兩座標需要正描述速率,第三重建為均值,速率零。此失真預算是每向量總和,不是每座標平均;將預算除以三,才是同一操作點的另一種慣例。

共同誤差水位來自對作用中座標速率微分:每增加一單位失真,速率降低的幅度為 1/(2ln⁡2 Di)1/(2\ln2\,D_i)。讓邊際節省相等,就讓作用中 DiD_i 相等。當 DiD_i 到達來源變異數,已經沒有速率可省,該座標離開作用集合。

小變異座標仍可能編碼重要標籤。反向注水對此高斯平方誤差問題最佳,但標籤保留需要另一失真。這個例子把最佳化條件與接收者目標直接連起來。

比較操作點時,不要改變問題

公平率失真比較固定來源資料、品質準則與資源假設。否則看似更好的曲線,可能只是在解更容易問題。

經驗操作點是完整程序下的量測速率與失真。應說明速率為固定長度、平均變長、理想負對數機率,還是實際序列化位元。

本章理論曲線使用無記憶母體來源與漸近長碼。有限實驗有抽樣不確定性、有限區塊、受限模型族與實作成本。把全部叫同一間隙,會掩蓋原因。

不同編碼設定應使用同一保留觀測。量化器、機率模型與學得轉換使用訓練資料擬合;驗證資料選懲罰或操作點;最後測試集估計已選程序表現。

母體異質時,應回報有意義群組的失真。常見例子平均可能掩蓋某子群很差的重建。這不推翻平均失真定理,而是指出該平均未充分表達應用。

也應說明解碼隨機性。相同索引下,確定性與隨機生成解碼器可能有不同誤差分布。重建同一測試輸入多次可以揭露變動;看到原圖後才挑最佳隨機重建,加入真實接收器可能沒有的選擇步驟。

最後,共享旁資訊須可比。帶任務資料庫、預訓練先驗或傳送調適資訊的解碼器,與沒有這些資訊的程序不同。共享資源有用,但可用性與成本慣例應伴隨前緣宣稱。

表示、任務與學得速率懲罰

表示可以捨棄無關細節,保留任務。只有指定任務並在目標母體評估,這才有幫助。

學得編碼器可能產生量化潛在變數 ZZ,具有熵模型 qq,解碼器回傳 X^\widehat X。常見訓練目標為

L=E[−log⁡2q(Z)]+λE[d(X,X^)].\mathcal L=\mathbb E[-\log_2q(Z)]+\lambda\mathbb E[d(X,\widehat X)].

第一項是位元單位理想編碼成本代理,λ≥0\lambda\geq0 平衡指定失真,期望使用訓練分布。此目標不會自動等於母體率失真函數。

潛在字母集合、熵模型失配、有限編碼器、旁資料流與模型成本,影響實際速率。架構限制可達重建;最佳化可能找到局部或模型受限取捨,而非資訊論最小值。

若接收器需要標籤 YY,適當準則可評估從 ZZ 推得決策,而非重建全部 XX。這是不同來源失真問題。保留某標籤的特徵,可能捨棄後續不相關任務需要的資訊。

感知準則可能獎勵合理紋理,即使紋理與來源不同;忠實重建準則可能懲罰同一改變。沒有通用正確目標,文字、圖形與評估都要保留區別。

多種失真可以一起回報,不需合成沒有解釋的單一分數。例如分開數值忠實度、明確任務誤差與分布真實性準則。

現代觀點

Yang、Mandt 與 Theis 的 2023 年專論 [4],區分無損熵編碼、有損轉換設計、量化、感知目標與任務導向編碼。分類能定位系統哪些部分改變速率、哪些改變失真、哪些改變評估目標。

Huang 與 Wu 的 2024 年綜述 [5],明確對照學得影像壓縮的人類與機器使用者。共同結論是:表示的用途依賴接收者;一個重建分數不能證明保留所有下游分析。

Hofer 與 Böhme 的 2024 年預印本 [6],建立神經影像錯誤壓縮分類,鼓勵檢查哪些內容改變,而不假設平均數值誤差已完整描述重建行為。此處依已核對狀態引用為預印本。

由率失真理論,我們推論應評估前緣,而非單一有利操作點:固定測試母體上的量測位元流大小,對明確失真。來源正規化、模型共享假設與解碼資源預算應一致。

開放問題包括不可逆壓縮後的任務轉移、罕見細節失真量、分布偏移,以及生成先驗的公平資源計算。更長區塊或更精細解碼器可以改善特定取捨,卻可能增加延遲或依賴更強共享假設。

下一章把資訊延伸到編碼以外:散度描述統計證據,最大熵在限制下選分布,對數成長則連結預測與決策。

重點整理

  • 失真定義有損重建可以改變什麼。
  • 率失真固定來源,最佳化重建法則。
  • 標準前緣非遞增且凸。
  • 二元與高斯最佳解使用仔細定義的反向測試通道。
  • 覆蓋與資訊計算連結測試通道和區塊碼。
  • 交替更新需要明確對數與懲罰單位。
  • 量化索引熵不同於實際序列化速率。
  • 學習或感知目標,須依指定接收者與失真評估。

練習

  1. 對機率 0.2 的 Bernoulli 來源,求零速率失真,以及失真 0、0.05、0.1 的速率。
提示

非零速率範圍用 h2(p)−h2(D)h_2(p)-h_2(D)。

  1. 建立 p=0.2p=0.2、D=0.1D=0.1 的反向二元聯合分布,比較直接以前向機率 0.1 翻轉來源。
提示

讓不符與重建獨立。

  1. 變異數 4 的高斯來源,求平方誤差 1、0.25 所需速率,並解釋改變座標單位後的結果。
提示

速率依賴變異數失真比。

  1. 把有限測試通道程式延伸至三符號與非對稱失真矩陣,分開回報懲罰、實際速率與實際失真。
提示

檢查每列正規化,重建聯合分布。

  1. 在純量量化加入裁切,分別比較中央與尾端誤差,不只回報平均。
提示

分開追蹤飽和例子。

  1. 替小二元影像設計兩種失真:精確像素保留,以及保留是否存在任何前景像素。說明零失真速率為何不同。
提示

任務辨認影像等價類。

參考文獻

  1. T. M. Cover and J. A. Thomas, Elements of Information Theory, 2nd ed., Wiley, 2006, Chapter 10. 出版社書頁與目錄。
  2. T. Weissman, “Lossy Compression & Rate Distortion Theory,” Stanford EE276 Lecture 13 notes, 2024. 第一手講義。
  3. T. Weissman, “Lossy Compression & Rate Distortion Theory Continued,” Stanford EE276 Lecture 14 notes, 2024. 第一手講義。
  4. Y. Yang, S. Mandt and L. Theis, “An Introduction to Neural Data Compression,” Foundations and Trends in Computer Graphics and Vision, 15(2), 113–200, 2023. 出版專論與作者版本。
  5. C.-H. Huang and J.-L. Wu, “Unveiling the Future of Human and Machine Coding: A Survey of End-to-End Learned Image Compression,” Entropy, 26(5), 357, 2024. 出版綜述。
  6. N. Hofer and R. Böhme, “A Taxonomy of Miscompressions: Preparing Image Forensics for Neural Compression,” arXiv preprint, 2024. 第一手預印本。

檢查理解

本篇有 6 題練習。不看提示,你能解出來嗎?

前往練習 ↑

下一篇 IT 07・統計證據、最大熵與成長 · 14 分鐘