完整搜尋頁面 →

雜訊之後還留下多少資訊?

入門IT 01・熵、相對熵與互資訊互動圖表

題目說明

區分來源的不確定性、實際傳遞的資訊與通道容量。

試試看:固定翻轉機率 p = 0.1,將輸入先驗機率移離 0.5。通道容量會改變嗎?實際傳遞的資訊會改變嗎?

先預測

固定位元翻轉機率,把輸入機率 q = P(X=1) 從 0.5 移開。通道容量 C 會怎麼變?

解析

請先回答預測問題,或在準備好時再打開解析。

顯示解析

容量是所有輸入分布中最大的 I(X;Y),所以它是通道本身的性質(此處為 1 − h₂(p))。移動 q 會讓 I(X;Y) 低於 C,但不會改變 C。

實驗 · 雜訊之後還留下多少資訊?

先預測

固定位元翻轉機率,把輸入機率 q = P(X=1) 從 0.5 移開。通道容量 C 會怎麼變?

H(X)
1
H(Y)
1
I(X;Y)
0.531
容量 1 − h₂(p)
0.531

輸出機率 P(Y=1) = 0.5。I(X;Y) = H(Y) − h₂(p) = 1 − 0.469 = 0.531。輸出具有隨機性不代表攜帶有用資訊:p = 0.5 時,輸出與輸入互相獨立。

試試看:固定翻轉機率 p = 0.1,將輸入先驗機率移離 0.5。通道容量會改變嗎?實際傳遞的資訊會改變嗎?

獨立的位元翻轉構成二元對稱通道。q = P(X=1)、p = P(Y≠X),且 P(Y=1) = p + q(1−2p)。數值單位皆為每次通道使用的位元數。容量是對 q 最大化後的互資訊;此處 q = 0.5 可達到容量。

方法來源

在互動實驗頁開啟 →