完整搜尋頁面 →

高機率區塊與典型集合不同

中階IT 02・典型序列、AEP 與熵率互動圖表

題目說明

比較典型集合的機率質量與它占所有二元區塊的比例。

試試看:固定 p=0.2 並增加區塊長度。典型集合占大部分機率時,也占大部分二元字串嗎?

提示

使用這個實驗的章節段落:

實驗 · 高機率區塊與典型集合不同

典型機率質量
0.6575
占全部字串比例
0.03815
H(p) (bits)
0.722

典型性關注每符號的資訊量。單一高機率字串與承載大部分機率的集合是不同概念。

試試看:固定 p=0.2 並增加區塊長度。典型集合占大部分機率時,也占大部分二元字串嗎?

長度 n 的獨立 Bernoulli(p) 區塊。若 |−log₂ P(區塊)/n−H(p)|≤ε 即為典型。每根柱合併所有含 k 個 1 的 C(n,k) 種字串。小 n 的典型集合可能為空;AEP 是漸近結果。

方法來源

在互動實驗頁開啟 →