完整搜尋頁面 →

IT 07・統計證據、最大熵與成長

資訊理論進階14 分鐘更新於 2026年11月5日

先備知識:IT 06・率失真與有損表示

導覽:本頁與本系列: 導覽:本頁與本系列
用實驗理解本章 1 個互動實驗

在兩個精確二項分布上移動決策閾值,計算兩種錯誤機率。

你將學到

  • 把概似比解讀為證據,而非後驗機率。
  • 以經驗型態解釋散度控制的罕見事件速率。
  • 區分假說檢定誤差取捨與參數估計。
  • 推導 Fisher 資訊與正則不偏估計下界。
  • 從明確限制建立最大熵分布。
  • 把對數最佳配置、通用混合連到編碼悔損。

先看全貌

資訊量不只用於儲存與通訊。它們也量化觀測如何區分競爭解釋、分布對參數變化多敏感,以及不良預測決策在重複試驗中多昂貴。

書籍對照為 Cover 與 Thomas 第 11 章統計、第 12 章最大熵、第 6 章賭局與編碼,以及第 16 章投資組合理論 [1]。Stanford 型態方法講義 [2] 提供易讀的有限字母推導。

本章使用完全指定機率與報酬的數學決策遊戲,目的在揭露資訊恆等式,不從歷史資料推論實際回報。每節都區分來源法則、選定模型、觀測樣本與決策準則。

概似比比較解釋

某模型給樣本較大機率時,樣本便較支持該模型。重複獨立觀測會相加對數證據。

對支撐相容、完全指定的分布 P,QP,Q,定義

Λ(xn)=log⁡P(xn)Q(xn)=∑t=1nlog⁡P(xt)Q(xt).\Lambda(x^n)=\log\frac{P(x^n)}{Q(x^n)} =\sum_{t=1}^{n}\log\frac{P(x_t)}{Q(x_t)}.

xnx^n 是長度 nn 觀測樣本,最後等式假設各模型內的觀測獨立。log⁡\log 可自然或底數二,但須一致。正值在概似比較中偏向 PP。

PP 下,期望二進位對數比為 nDKL(P∥Q)nD_{\mathrm{KL}}(P\Vert Q);QQ 下為 −nDKL(Q∥P)-nD_{\mathrm{KL}}(Q\Vert P)。方向不同,是因期望使用不同法則。

概似比不是後驗機率。計算後驗勝算,需要乘先驗勝算;選擇行動,需要納入錯誤決策損失。零閾值適合某些對稱先驗與損失,不適合所有檢定。

簡單假說下,Neyman–Pearson 概似比原則描述指定偽警報限制的最強力檢定 [1]。「簡單」是分布固定,不是帶未知擬合參數的模型族。

若用同一樣本估計參數,就是另一套程序。模型選擇、干擾參數與閾值校準,都可能改變有限誤差。把擬合分類器分數當證據前,先用完全指定小模型理解。

檢定誤差形成取捨

更難宣布對立假說,可以減少偽警報,卻可能漏掉更多真對立情況。報告不應省略任一誤差。

設虛無分布 P0P_0、對立分布 P1P_1。拒絕區域 AA 給

α=P0(Xn∈A),β=P1(Xn∉A).\alpha=P_0(X^n\in A),\qquad \beta=P_1(X^n\notin A).

α\alpha 是第一型或偽警報機率,β\beta 是第二型或漏判對立機率,AA 是宣布對立的集合。

Bernoulli 機率 p0<p1p_0<p_1 時,對立相對虛無的對數概似比,是一的計數遞增函數。因此,計數閾值實作概似比檢定。

離散計數可能讓確定性閾值無法精確達到任意偽警報目標。邊界隨機化可以數學上達到中間操作點;部署規則應說明是否隨機化。

30 個 Bernoulli 觀測、機率 0.3 與 0.6 下,計數閾值在偽陽性與偵測機率間取捨。
圖 1 — 精確二項機率。偵測機率等於一減第二型誤差;每點對應明確計數閾值。

程式:精確誤差與 Monte Carlo 檢查

完整例子選擇首個符合 5% 偽警報限制的計數閾值,計算漏判機率,再分別驗證兩個法則。

程式碼 · Python · 17 行
import numpy as np
from scipy.stats import binom

n, p0, p1 = 30, 0.3, 0.6
thresholds = np.arange(n+2)
false_alarm = binom.sf(thresholds-1, n, p0)
detection = binom.sf(thresholds-1, n, p1)
threshold = thresholds[np.flatnonzero(false_alarm <= 0.05)[0]]
alpha = binom.sf(threshold-1, n, p0)
beta = binom.cdf(threshold-1, n, p1)
rng = np.random.default_rng(40)
observed_alpha = np.mean(rng.binomial(n, p0, 100000) >= threshold)
observed_beta = np.mean(rng.binomial(n, p1, 100000) < threshold)
print("Threshold / alpha / beta:", threshold, alpha, beta)
print("Simulation alpha / beta:", observed_alpha, observed_beta)
assert abs(observed_alpha-alpha) < 0.005
assert abs(observed_beta-beta) < 0.005

閾值使用已知分布,不在測試集搜尋。學習應用應在驗證資料調閾值,再以獨立測試觀測估計誤差。資料群組與時間相依可能改變獨立性假設。

評估集中對立比例,影響正確宣布頻率,卻不改變固定檢定與法則的兩種條件誤差。即使偽警報機率小,對立極罕見時,仍可能有很多錯誤宣布。解讀時需結合條件誤差與目標先驗盛行率。這是條件機率直接結果,不是概似比原則失敗。應說明回報量以虛無、對立,還是檢定輸出為條件。

計算例:證據不等於信心

例子的虛無機率 0.3、對立機率 0.6,長度 30 區塊含 kk 個一時,對立相對虛無的對數概似比為

Λk=kln⁡0.60.3+(30−k)ln⁡0.40.7.\Lambda_k=k\ln\frac{0.6}{0.3}+(30-k)\ln\frac{0.4}{0.7}.

kk 是觀測計數,Λk\Lambda_k 使用自然對數,兩個分數比較競爭法則下的一與零機率。18 個一時,Λ18≈5.761260\Lambda_{18}\approx5.761260,概似比約 317.748375,證據明顯偏向對立。

若對立的先驗機率為 0.01,先驗勝算為 0.01/0.990.01/0.99。後驗勝算約 317.748375×0.01/0.99=3.209580317.748375\times0.01/0.99=3.209580,對應後驗機率約 0.762447。概似比不是 99.7% 信心值,先驗會改變後驗解讀。

更實際的區別,是閾值檢定的全部陽性宣布。程式選閾值 14,偽警報約 0.040053,漏判約 0.048112。如果只有 1% 案例來自對立,陽性真正屬對立的機率為

Pr⁡(H1∣positive)=π(1−β)π(1−β)+(1−π)α≈0.193588.\Pr(H_1\mid\text{positive}) =\frac{\pi(1-\beta)}{\pi(1-\beta)+(1-\pi)\alpha} \approx0.193588.

π=0.01\pi=0.01 是對立先驗盛行率,α\alpha 是偽警報機率,β\beta 是漏判機率。符號 H1H_1 表示案例由對立產生的事件。即使兩種條件誤差都低於 5%,此母體多數陽性仍是偽警報。

結論來自計算兩族群預期產生的陽性數,沒有改變概似比最佳性或量測條件誤差。決策報告應說明條件事件,讓讀者區分個別樣本後驗與所有陽性的平均組成。

程式碼 · Python · 14 行
import numpy as np
from scipy.stats import binom

n, p0, p1, prior = 30, 0.3, 0.6, 0.01
count = 18
log_ratio = count*np.log(p1/p0)+(n-count)*np.log((1-p1)/(1-p0))
posterior = 1/(1+((1-prior)/prior)*np.exp(-log_ratio))
threshold = 14
alpha = binom.sf(threshold-1, n, p0)
beta = binom.cdf(threshold-1, n, p1)
positive_precision = prior*(1-beta)/(prior*(1-beta)+(1-prior)*alpha)
assert alpha <= 0.05 and binom.sf(threshold-2, n, p0) > 0.05
print("Likelihood ratio / sample posterior:", np.exp(log_ratio), posterior)
print("Probability alternative given positive:", positive_precision)

經驗型態揭露散度為何控制罕見事件

許多字串具有同一直方圖。數量以熵指數成長,單一來源機率以交叉熵指數縮小,差就是散度。

大小 kk 的有限字母中,長度 nn 序列的型態 p^\widehat p 是經驗符號分布。型態類 T(p^)T(\widehat p) 包含所有相同計數序列。獨立來源法則 qq 下,

q(xn)=2−n[H(p^)+DKL(p^∥q)].q(x^n)=2^{-n[H(\widehat p)+D_{\mathrm{KL}}(\widehat p\Vert q)]}.

xnx^n 具有型態 p^\widehat p,H(p^)H(\widehat p) 是經驗熵,散度以位元計。將相同對數機率按計數分組,即得公式。

類別大小的保守多項式界為

(n+1)−k2nH(p^)≤∣T(p^)∣≤2nH(p^).(n+1)^{-k}2^{nH(\widehat p)} \leq |T(\widehat p)|\leq2^{nH(\widehat p)}.

∣T∣|T| 是序列數,n,kn,k 是區塊長度與字母大小。乘單一序列機率得到

(n+1)−k2−nDKL(p^∥q)≤q(T(p^))≤2−nDKL(p^∥q).(n+1)^{-k}2^{-nD_{\mathrm{KL}}(\widehat p\Vert q)} \leq q(T(\widehat p)) \leq2^{-nD_{\mathrm{KL}}(\widehat p\Vert q)}.

q(T)q(T) 是型態類總機率。有限長度多項式因子重要,但會從正規化對數指數中消失 [1,2]。

方向值得強調:第一引數是異常經驗型態,第二是實際生成來源。這不同於在固定真來源下平均的編碼失配計算。

經驗分布集合的主要指數行為,由允許型態中最小散度控制。Sanov 定理在有限字母與集合正則條件下,形式化此大偏差陳述 [1]。

程式:精確二元型態機率與指數

獨立例子比較二項機率與指數界,使用對數避免下溢,並檢查有限多項式間隙。

程式碼 · Python · 15 行
import numpy as np
from scipy.stats import binom

q, target = 0.3, 0.6
for n in [30, 100, 300, 1000]:
    count = int(round(n*target))
    empirical = count/n
    divergence = (empirical*np.log2(empirical/q) +
                  (1-empirical)*np.log2((1-empirical)/(1-q)))
    negative_log_probability = -binom.logpmf(count, n, q)/np.log(2)
    exponent = n*divergence
    assert exponent <= negative_log_probability + 1e-10
    assert negative_log_probability <= exponent + 2*np.log2(n+1) + 1e-10
    print("Length / observed normalized exponent / divergence:",
          n, negative_log_probability/n, divergence)

罕見精確型態,不同於單邊尾端或典型鄰域。尾端指數來自對事件全部計數最佳化,不是直接代入最極端計數。

從單一型態到型態集合

由經驗分布集合 A\mathcal A 定義的事件,至多有 (n+1)k(n+1)^k 種型態。加總上界得到

q(p^∈A)≤(n+1)k2−ninf⁡v∈AnDKL(v∥q).q(\widehat p\in\mathcal A) \leq(n+1)^k2^{-n\inf_{v\in\mathcal A_n}D_{\mathrm{KL}}(v\Vert q)}.

An\mathcal A_n 是 A\mathcal A 中長度 nn 可實現型態,vv 是候選型態,下確界選 qq 下最不意外的型態。空事件機率零,另行處理。

罕見事件最可能部分,常在最接近來源的邊界,而非最戲劇化極端。二元來源機率 0.3,要求頻率至少 0.6 的尾端,主要由接近 0.6 而非一控制。

有限型態格點重要:所需邊界可能在可達分數間。精確二項總和處理離散性;漸近散度圖像解釋趨勢,同時保留取整與多項式因子。

這可幫助解讀表面分布偏移。異常直方圖可作為反對來源法則的證據,卻不能辨認原因。相依、選擇偏差、量測改變與不同來源,都可能改變頻率。

非對稱與對稱假說指數

不同方式分配兩種檢定誤差,會導向不同資訊極限。散度只是其中一種,不是所有分類問題的答案。

假設虛無 PP、對立 QQ 下觀測獨立,第一型誤差保留在固定非平凡容許值內。最佳第二型指數趨近

−1nln⁡βn→Dnats(P∥Q).-\frac1n\ln\beta_n\to D_{\mathrm{nats}}(P\Vert Q).

βn\beta_n 是對立下誤接受虛無的機率,DnatsD_{\mathrm{nats}} 使用自然對數。這是適當來源與支撐條件下的經典 Stein 漸近設定 [1]。

方向依接受區域:典型虛無觀測必須仍被接受,對立看起來像虛無的機率,具有 PP 到 QQ 散度指數。交換假說會反轉散度,也可能改變指數。

固定非零先驗與對稱 Bayesian 誤差目標下,指數改為 Chernoff 資訊:

CCh(P,Q)=−min⁡0≤s≤1ln⁡∑xP(x)sQ(x)1−s.C_{\mathrm{Ch}}(P,Q) =-\min_{0\leq s\leq1}\ln\sum_xP(x)^sQ(x)^{1-s}.

ss 在兩法則間內插,xx 遍歷有限字母。雖然加總項看似非對稱,整個量是對稱的。

指數描述大獨立樣本,不是短樣本精確誤差。前面的二項實驗直接計算有限情況。前置因子與決策邊界重要時,把漸近指數當精確機率可能不準。

複合假說、相依、改變中的母體與不等損失,都需要各自分析。資訊極限可解釋哪些來源差異有助區分,仍留下實際校準與抽樣設計問題。

推論中的充分性與資料處理

某摘要對參數充分,表示它在指定模型族中保留樣本的全部參數證據。

對模型族 pθ(xn)p_\theta(x^n),若給定統計量 T(Xn)T(X^n) 的樣本條件法則不依賴 θ\theta,就稱充分。分解準則為

pθ(xn)=gθ(T(xn))h(xn).p_\theta(x^n)=g_\theta(T(x^n))h(x^n).

θ\theta 是參數,TT 是統計量,gθg_\theta 是依參數的因子,hh 是與參數無關因子,須有相應模型族與支配假設 [1]。

獨立 Bernoulli 試驗的一計數,對未知機率充分;順序在此族不含額外參數證據。Markov 族則可能需要順序,單一一計數一般不再充分。

隨機參數 Θ\Theta 有指定先驗時,充分性給出 I(Θ;Xn)=I(Θ;T(Xn))I(\Theta;X^n)=I(\Theta;T(X^n)) 所需條件關係。任意摘要只有資料處理上界。

「在模型族中」很重要。某假設模型的充分統計量,可能丟棄模型錯誤證據。平均值能估位置,卻隱藏多峰、相依或離群模式。

這連到學得表示:保留某目標資訊,不同於保留原資料全部診斷性質。充分性宣稱應伴隨任務與來源族。

Fisher 資訊衡量局部參數敏感度

Fisher 資訊衡量參數微移時,對數機率改變多強。它是模型局部性質,不同於隨機變數互資訊。

對純量參數 θ\theta 與正則密度或質量函數 pθp_\theta,定義分數與資訊:

sθ(X)=∂∂θln⁡pθ(X),J(θ)=Eθ[sθ(X)2].s_\theta(X)=\frac{\partial}{\partial\theta}\ln p_\theta(X), \qquad \mathcal J(\theta)=\mathbb E_\theta[s_\theta(X)^2].

sθs_\theta 是分數(score),J\mathcal J 是每觀測 Fisher 資訊,期望在參數化模型下。正則條件下,分數期望零。

nn 個獨立觀測的資訊相加成 nJ(θ)n\mathcal J(\theta)。正則不偏估計器 θ^\widehat\theta 的 Cramér–Rao 不等式為

Var⁡θ(θ^)≥1nJ(θ).\operatorname{Var}_\theta(\widehat\theta)\geq \frac1{n\mathcal J(\theta)}.

變異數描述固定參數的重複樣本。此界需要可微性、微分與積分交換,以及適當支撐、不偏假設 [1]。

Bernoulli 機率 θ∈(0,1)\theta\in(0,1) 的 J(θ)=1/[θ(1−θ)]\mathcal J(\theta)=1/[\theta(1-\theta)]。樣本均值不偏,變異數 θ(1−θ)/n\theta(1-\theta)/n,達到該界。

資訊會隨參數座標改變。把機率重參數化為對數勝算,會以參數導數平方縮放資訊。統計族不變,只是參數誤差單位改變。

支撐依參數的非正則模型或有偏估計器,需要不同界。經驗變異數小,若均值偏離參數,也不能單獨證明準確。

選讀:支撐隨參數移動時(見「補充資料」頁)。以均勻來源指出失效的正則性恆等式。

推導 Bernoulli 資訊與變異數界

單一 Bernoulli 觀測 x∈{0,1}x\in\{0,1\} 的對數概似為 xln⁡θ+(1−x)ln⁡(1−θ)x\ln\theta+(1-x)\ln(1-\theta)。微分得到

sθ(x)=xθ−1−x1−θ=x−θθ(1−θ).s_\theta(x)=\frac{x}{\theta}-\frac{1-x}{1-\theta} =\frac{x-\theta}{\theta(1-\theta)}.

θ∈(0,1)\theta\in(0,1) 是一的機率,sθs_\theta 是分數。其兩種值為 1/θ1/\theta、−1/(1−θ)-1/(1-\theta),按機率 θ\theta、1−θ1-\theta 平均平方,得到 J(θ)=1/[θ(1−θ)]\mathcal J(\theta)=1/[\theta(1-\theta)]。

為何倒數限制估計變異數?令 TT 是依 nn 個獨立觀測建立的正則不偏估計器,SnS_n 是分數總和。在正則假設下,對不偏性 EθT=θ\mathbb E_\theta T=\theta 微分:

1=ddθEθT=Eθ[(T−θ)Sn].1=\frac{d}{d\theta}\mathbb E_\theta T =\mathbb E_\theta[(T-\theta)S_n].

TT 是觀測樣本的固定函數,Sn=∑i=1nsθ(Xi)S_n=\sum_{i=1}^ns_\theta(X_i) 是總分數,且 EθSn=0\mathbb E_\theta S_n=0。右側是估計器與分數的共變異數。共變異數平方不超過兩個變異數乘積;再利用 Var⁡θ(Sn)=nJ(θ)\operatorname{Var}_\theta(S_n)=n\mathcal J(\theta),就得到變異數界。

θ=0.3\theta=0.3、n=100n=100 時,每觀測資訊約 4.761905,變異數下界 0.0021。樣本均值達到下界,因為中心化估計誤差與總分數成正比。獨立樣本數增加四倍,變異數除以四,標準差除以二。分數變異數能相加是因獨立;反覆測量同一相關試驗,不足以支持此縮放。

Fisher 資訊是局部散度曲率

適當二次可微正則條件下,鄰近參數分布滿足

Dnats(pθ∥pθ+δ)=12J(θ)δ2+o(δ2).D_{\mathrm{nats}}(p_\theta\Vert p_{\theta+\delta}) =\frac12\mathcal J(\theta)\delta^2+o(\delta^2).

δ\delta 是小參數位移,J(θ)\mathcal J(\theta) 是自然對數分數資訊,o(δ2)o(\delta^2) 的餘項除以 δ2\delta^2 趨零。底數二散度的首項要除以 ln⁡2\ln2。

一階導數消失,因分數期望零;正則模型的二階導數給 Fisher 資訊。這連結局部估計敏感度與檢定、編碼使用的全域散度。

它是局部近似。大參數移動可能涉及不同曲率、支撐改變或多峰。把一個 Fisher 值當整個族的精確距離,會丟棄差異。

最大熵讓限制明確

若只知道少數期望,就從符合期望的分布選最大熵。答案依指定限制與允許支撐。

有限字母的特徵 ϕj(x)\phi_j(x) 要求 E[ϕj(X)]=mj\mathbb E[\phi_j(X)]=m_j。帶正規化的最大熵給指數族形式

pλ(x)=exp⁡(∑jλjϕj(x))Z(λ),Z(λ)=∑xexp⁡(∑jλjϕj(x)).p_\lambda(x)=\frac{\exp(\sum_j\lambda_j\phi_j(x))}{Z(\lambda)}, \qquad Z(\lambda)=\sum_x\exp(\sum_j\lambda_j\phi_j(x)).

λj\lambda_j 是符合動差限制的乘子,ZZ 正規化質量函數。正號只是乘子符號慣例;存在性與內部支撐條件重要。

微分 ln⁡Z\ln Z 給受限制特徵期望。只知道均值、沒有支撐,不會決定熵最佳值。有界區間固定支撐無其他限制,給均勻密度;實數固定均值與變異數給高斯;非負支撐固定均值給指數密度 [1]。

最大熵是透明建模原則,不是來源真的屬於此族的證據。未量測相依與高階動差仍可能存在。應記錄限制、擬合乘子,再用獨立資料測預測。

指數形式也解釋與散度的關係。候選分布若符合最大熵模型的特徵期望,平均模型對數機率只依賴共享動差。同一對數底數下,候選到模型的相對熵,等於模型熵減候選熵。

這再次是限制把交叉熵項變成固定量。前章高斯最大熵證明就是連續動差例子。共同代數說明最大熵、指數族與資訊投影為何反覆一起出現。

推導與解讀最大熵分布

最佳化先使用自然對數,只會縮放熵與乘子。把正規化與特徵限制加到熵目標:

F(p)=−∑xpxln⁡px+α(∑xpx−1)+∑jλj(∑xpxϕj(x)−mj).\mathcal F(p) =-\sum_xp_x\ln p_x +\alpha\left(\sum_xp_x-1\right) +\sum_j\lambda_j\left(\sum_xp_x\phi_j(x)-m_j\right).

pxp_x 是候選機率,α\alpha 是正規化乘子,λj\lambda_j 是特徵乘子,ϕj(x)\phi_j(x) 是特徵 jj,mjm_j 是要求期望。內部最佳點對各機率微分,得到 −ln⁡px−1+α+∑jλjϕj(x)=0-\ln p_x-1+\alpha+\sum_j\lambda_j\phi_j(x)=0;取指數再正規化,就得到前述指數形式。

狀態 0、1、2、平均 0.7 只有一個特徵 ϕ(x)=x\phi(x)=x,相對權重為 1,eλ,e2λ1,e^\lambda,e^{2\lambda}。均勻分布平均一,較低目標平均因此需要負乘子。程式找到 λ≈−0.466121\lambda\approx-0.466121,機率約 0.494780、0.310440、0.194780。

模型在符合平均的同時,將機率散布於全部允許狀態。點質量或兩狀態混合也可能符合某些動差,但此處熵較低。可行邊界上,部分機率可能為零,有限內部乘子不一定足夠。支撐、動差與存在條件是數學問題的一部分,不是選好喜歡密度後才補上的選擇。

程式:解有限最大熵模型並驗證 Fisher 變異數

完整例子求指定均值的三狀態分布,再比較 Bernoulli 估計器變異數與精確不偏界。

程式碼 · Python · 19 行
import numpy as np
from scipy.optimize import brentq
from scipy.special import softmax

states = np.array([0.0, 1.0, 2.0])
target_mean = 0.7
probability = lambda lam: softmax(lam*states)
lam = brentq(lambda value: probability(value) @ states-target_mean, -20, 20)
p = probability(lam)
assert abs(p @ states-target_mean) < 1e-12
print("Maximum-entropy multiplier / probabilities:", lam, p)

rng = np.random.default_rng(41)
theta, n = 0.3, 100
estimates = rng.binomial(n, theta, size=100000)/n
fisher = 1/(theta*(1-theta))
bound = 1/(n*fisher)
print("Empirical estimator variance / exact bound:", estimates.var(), bound)
assert abs(estimates.var()-bound) < 0.0001

最大熵計算精確使用列出的支撐;允許其他狀態會改變最佳化。變異數計算檢查合成正則例子,不是所有估計器的通用下界。

對數成長把失配轉成決策成本

重複乘法遊戲中,策略錯誤會累積。指定公平報酬模型下,最大期望對數成長使最佳配置符合結果機率。

結果 ii 以機率 pip_i 發生。配置比例 qi>0q_i>0 到其條件報酬,∑iqi=1\sum_iq_i=1。公平參考法則 ri>0r_i>0 在結果 ii 發生時付乘數 1/ri1/r_i。期望二進位對數成長為

g(p,q;r)=∑ipilog⁡2qiri=DKL(p∥r)−DKL(p∥q).g(p,q;r)=\sum_ip_i\log_2\frac{q_i}{r_i} =D_{\mathrm{KL}}(p\Vert r)-D_{\mathrm{KL}}(p\Vert q).

pp 是結果法則,qq 是配置,rr 是報酬倒數機率向量,gg 是每次試驗對數乘數。恆等式使用正規化法則與指定條件報酬遊戲 [1]。

最佳解在來源支撐為 q=pq=p。失配策略精確損失 D(p∥q)D(p\Vert q) 的期望對數成長。兩結果皆乘數二時,rr 公平,最佳值為 1−h2(p)1-h_2(p)。

這是預測與成長的 Kelly 連結,不表示每個投資組合都有公平條件報酬,或機率已知。加入現金、交易成本、槓桿限制或不同報酬,會改變最佳化。

機率 0.65、相同條件乘數二的期望對數成長,在配置 0.65 時最高。
圖 2 — 解析雙結果報酬模型。相對最佳值的下降,就是機率模型散度。

每次結果前可觀察旁資訊 YY 時,條件最佳化配置。相對固定最佳配置的改善為

EY[g(pX∣Y,pX∣Y;r)]−g(pX,pX;r)=I(X;Y).\mathbb E_Y[g(p_{X\mid Y},p_{X\mid Y};r)] -g(p_X,p_X;r)=I(X;Y).

XX 是結果,YY 是旁資訊,參考報酬法則 rr 不變。在此特定對數成長遊戲,互資訊有操作價值。

通用混合連結投資組合與編碼

不只選一個固定配置,而是混合許多固定策略的財富。過去結果決定各策略之後貢獻多少。

正報酬向量 RtR_t 與固定單純形配置 bb 的累積財富為

Wn(b)=∏t=1nb⊤Rt,Wnmix=∫Wn(b) π(db).W_n(b)=\prod_{t=1}^{n}b^\top R_t, \qquad W_n^{\mathrm{mix}}=\int W_n(b)\,\pi(db).

tt 索引試驗,bb 非負且總和一,RtR_t 含各分量相對報酬,π\pi 是固定配置的先驗測度。混合有等價逐步配置,依過去財富加權策略。

Cover 與 Thomas 第 16 章在指定條件下,發展通用投資組合與長期比較最佳固定配置的想法 [1]。基準是事後固定配置,不是無限制、知道未來的交易者。

雙結果公平條件遊戲中,機率參數均勻先驗,給與 beta 混合相同的預測機制。tt 次後,一的逐步機率為 (N1+1)/(t+2)(N_1+1)/(t+2)。這是整數計數先驗,不同於無損編碼的半計數預測器。

程式:混合成長與最佳固定配置

完整例子以對數計財富,用 beta 積分求均勻混合。比較已知來源策略、回顧最佳固定策略與因果混合。

程式碼 · Python · 23 行
import numpy as np
from scipy.special import betaln

rng = np.random.default_rng(42)
p, n = 0.65, 2000
outcomes = rng.binomial(1, p, size=n)
ones, zeros = int(outcomes.sum()), n-int(outcomes.sum())
fitted = ones/n
oracle_log_wealth = n*np.log(2)+ones*np.log(p)+zeros*np.log(1-p)
best_log_wealth = n*np.log(2)+ones*np.log(fitted)+zeros*np.log(1-fitted)
mixture_log_wealth = n*np.log(2)+betaln(ones+1, zeros+1)
sequential_log_wealth, previous_ones = 0.0, 0
for t, outcome in enumerate(outcomes):
    q = (previous_ones+1)/(t+2)
    sequential_log_wealth += np.log(2*(q if outcome else 1-q))
    previous_ones += int(outcome)
assert abs(sequential_log_wealth-mixture_log_wealth) < 1e-9
assert mixture_log_wealth <= best_log_wealth
print("Source / best fixed / mixture growth bits per trial:",
      oracle_log_wealth/n/np.log(2), best_log_wealth/n/np.log(2),
      mixture_log_wealth/n/np.log(2))
print("Mixture regret to best fixed, bits:",
      (best_log_wealth-mixture_log_wealth)/np.log(2))

這是受控合成報酬實驗。最佳固定參數用整段序列,作為基準;混合則因果更新。對數財富減最佳基準,與負對數機率悔損有相同代數,但方向相反。

現代觀點

Hellström、Durisi、Guedj 與 Raginsky 的 2025 年出版專論 [3],統一資訊論與 PAC-Bayesian 泛化界。分類區分期望、機率與條件互資訊表示,清楚指出統計保證需要指定隨機物件與評估準則。

El Gamal 的 2026 年擬議學習章 [4],以教科書式說明連結散度恆等式與統計學習。它是草稿補充;本章把現代觀點搭配已出版第二版,不把擬議章當成完成新版。

我們推論,同一量只有指定模型後,才能具有不同操作意義。散度可以是編碼懲罰、異常型態指數、證據速率或對數成長損失。方向、對數底數與極限設定可能各異。

學習推論的開放問題包括大參數空間可靠資訊估計、相依或偏移資料保證,以及能對實際模型選擇程序提供資訊的界。資訊項無窮或難估時,形式不等式可能變得無用。

實際工作應搭配獨立有限實驗:精確小機率驗證實作、保留資料概似評估擬合、決策誤差評估用途。單一熵數值不能代替三者。

最後一章結合多來源、多接收者、較強不等式,並以小型分散式資訊專題連到現代學習。

重點整理

  • 概似證據、後驗勝算與決策閾值不同。
  • 檢定同時回報偽警報與漏判機率。
  • 型態機率有散度指數,須明確引數方向。
  • 假說指數依所選誤差設定。
  • 充分性相對於模型族與目標參數。
  • Fisher 資訊給局部正則估計極限。
  • 最大熵依賴支撐與指定限制。
  • 對數成長失配、通用混合悔損共享編碼恆等式。

練習

  1. 反轉二項例子的虛無與對立,找 5% 偽警報限制閾值,比較漏判誤差。
提示

拒絕區域變低計數。

  1. 按經驗計數分組符號,推導型態機率恆等式,說明散度引數順序。
提示

計數乘來源對數機率。

  1. 比較 Bernoulli 機率 0.3、0.6 的雙向 Stein 散度,說明非對稱結果不違反對稱 Chernoff 指數。
提示

先固定接受區域,再選散度。

  1. 將 Bernoulli 機率重參數化為對數勝算,推導 Fisher 資訊並解釋誤差單位。
提示

乘機率導數平方。

  1. 求狀態 0、1、2、3、均值 1.2 的最大熵分布,再加入二階動差限制,描述額外乘子。
提示

第二特徵是狀態平方。

  1. 公平條件遊戲中,來源機率 0.65,求配置 0.5、0.65、0.8 的期望成長,驗證散度損失,並說明哪種策略知道未來。
提示

沒有策略知道未來;事後基準只在觀察後擬合常數。

補充資料

1 則補充資料,各自成頁;主線不依賴它們。

打開補充資料 →

參考文獻

  1. T. M. Cover and J. A. Thomas, Elements of Information Theory, 2nd ed., Wiley, 2006, Chapters 6, 11–12 and 16. 出版社書頁與目錄。

  2. T. Weissman, “Method of Types,” Stanford EE276 Lecture 15 notes, 2024. 第一手講義。

  3. F. Hellström, G. Durisi, B. Guedj and M. Raginsky, “Generalization Bounds: Perspectives from Information Theory and PAC-Bayes,” Foundations and Trends in Machine Learning, 18(1), 1–223, 2025. 出版社資訊,作者版本。

  4. A. El Gamal, “Information Theory and Statistical Learning,” proposed textbook chapter, arXiv preprint, 2026. 草稿與出版狀態。

  5. MIT OpenCourseWare, “Lecture 6: Efficient Estimators, Rao-Cramer Bound,” 14.381 Statistical Method in Economics, Fall 2018, pp. 3–6。第一手講義.

檢查理解

本篇有 6 題練習。不看提示,你能解出來嗎?

前往練習 ↑

下一篇 IT 08・網路、資訊不等式與學習 · 15 分鐘