雜訊之後還留下多少資訊?
入門IT 01・熵、相對熵與互資訊互動圖表
題目說明
區分來源的不確定性、實際傳遞的資訊與通道容量。
試試看:固定翻轉機率 p = 0.1,將輸入先驗機率移離 0.5。通道容量會改變嗎?實際傳遞的資訊會改變嗎?
解析
請先回答預測問題,或在準備好時再打開解析。
顯示解析
容量是所有輸入分布中最大的 I(X;Y),所以它是通道本身的性質(此處為 1 − h₂(p))。移動 q 會讓 I(X;Y) 低於 C,但不會改變 C。
實驗 · 雜訊之後還留下多少資訊?
- H(X)
- 1
- H(Y)
- 1
- I(X;Y)
- 0.531
- 容量 1 − h₂(p)
- 0.531
輸出機率 P(Y=1) = 0.5。I(X;Y) = H(Y) − h₂(p) = 1 − 0.469 = 0.531。輸出具有隨機性不代表攜帶有用資訊:p = 0.5 時,輸出與輸入互相獨立。
試試看:固定翻轉機率 p = 0.1,將輸入先驗機率移離 0.5。通道容量會改變嗎?實際傳遞的資訊會改變嗎?
獨立的位元翻轉構成二元對稱通道。q = P(X=1)、p = P(Y≠X),且 P(Y=1) = p + q(1−2p)。數值單位皆為每次通道使用的位元數。容量是對 q 最大化後的互資訊;此處 q = 0.5 可達到容量。