讓常見符號使用較短的編碼
中階IT 03・無損編碼與通用壓縮互動圖表
題目說明
建立二元前綴碼,比較平均碼長與來源熵。
試試看:比較 P(A) = 0.25 與 P(A) = 0.7。為何最佳編碼會跳躍改變,熵卻平滑變化?
實驗 · 讓常見符號使用較短的編碼
- 來源熵
- 1.357
- 平均碼長
- 1.5
- 冗餘(位元/符號)
- 0.143
沒有任何碼字是其他碼字的前綴,因此串接的位元不需要分隔符號就能解碼。平均碼長為 Σ p(符號) × 碼長 = 1.5 位元/符號。熵為 1.357,兩者差距為 0.143。範例中的空格只是標示碼字邊界。
試試看:比較 P(A) = 0.25 與 P(A) = 0.7。為何最佳編碼會跳躍改變,熵卻平滑變化?
Huffman 編碼反覆合併機率最小的兩個節點,同機率時依字母排序。B、C、D 的機率各為 (1−P(A))/3。平均碼長依此來源分布計算;範例訊息則有自己的符號次數。此處未計入傳送碼表的成本。