高機率區塊與典型集合不同
中階IT 02・典型序列、AEP 與熵率互動圖表
題目說明
比較典型集合的機率質量與它占所有二元區塊的比例。
試試看:固定 p=0.2 並增加區塊長度。典型集合占大部分機率時,也占大部分二元字串嗎?
實驗 · 高機率區塊與典型集合不同
- 典型機率質量
- 0.6575
- 占全部字串比例
- 0.03815
- H(p) (bits)
- 0.722
典型性關注每符號的資訊量。單一高機率字串與承載大部分機率的集合是不同概念。
試試看:固定 p=0.2 並增加區塊長度。典型集合占大部分機率時,也占大部分二元字串嗎?
長度 n 的獨立 Bernoulli(p) 區塊。若 |−log₂ P(區塊)/n−H(p)|≤ε 即為典型。每根柱合併所有含 k 個 1 的 C(n,k) 種字串。小 n 的典型集合可能為空;AEP 是漸近結果。