實驗 · 分開看熵與模型失配
- 熵
- 0.722
- 交叉熵
- 1
- KL 散度
- 0.278
H(P,Q) = 0.722 + 0.278 位元。符合真實機率可消除 KL 懲罰,卻無法消除來源的不確定性。
試試看:固定 p=0.8,找出使交叉熵最小的 q,再比較 q=0.2。
Bernoulli 來源的 H(p,q)=−p log₂q−(1−p)log₂(1−q)=H(p)+D(p∥q)。q 嚴格位於 0 與 1 之間。這是期望的理想位元成本,不是實測檔案大小。
實驗 · 分開看熵與模型失配
H(P,Q) = 0.722 + 0.278 位元。符合真實機率可消除 KL 懲罰,卻無法消除來源的不確定性。
試試看:固定 p=0.8,找出使交叉熵最小的 q,再比較 q=0.2。
Bernoulli 來源的 H(p,q)=−p log₂q−(1−p)log₂(1−q)=H(p)+D(p∥q)。q 嚴格位於 0 與 1 之間。這是期望的理想位元成本,不是實測檔案大小。