完整搜尋頁面 →

分開看熵與模型失配

入門ML 01B・機率與資訊理論互動圖表

題目說明

改變真實機率與模型機率,計算模型錯誤帶來的額外編碼成本。

試試看:固定 p=0.8,找出使交叉熵最小的 q,再比較 q=0.2。

實驗 · 分開看熵與模型失配

熵
0.722
交叉熵
1
KL 散度
0.278

H(P,Q) = 0.722 + 0.278 位元。符合真實機率可消除 KL 懲罰,卻無法消除來源的不確定性。

試試看:固定 p=0.8,找出使交叉熵最小的 q,再比較 q=0.2。

Bernoulli 來源的 H(p,q)=−p log₂q−(1−p)log₂(1−q)=H(p)+D(p∥q)。q 嚴格位於 0 與 1 之間。這是期望的理想位元成本,不是實測檔案大小。

方法來源

在互動實驗頁開啟 →