兩個無用線索合起來可以有用
進階IT 08・網路、資訊不等式與學習互動圖表
題目說明
計算各自獨立的兩個位元及其組合,對帶雜訊 XOR 標籤提供多少資訊。
試試看:把標籤雜訊設為零。為何單一特徵的資訊為零,組合卻有一位元?
解析
請先回答預測問題,或在準備好時再打開解析。
顯示解析
標籤是 A XOR B。只知道其中一位元時,標籤仍像公平硬幣;兩者都知道才能完全決定標籤:I(A,B;Y) = 1 − h₂(ε),在 ε = 0 時是 1 位元。
實驗 · 兩個無用線索合起來可以有用
- I(A;Y)
- 0 bits
- I(B;Y)
- 0 bits
- I(A,B;Y)
- 0.531 bits
- I(A;Y|B)
- 0.531 bits
任一列或欄的平均都是 0.5:單看一個特徵不改變標籤分布,兩個一起看則可能改變。
試試看:把標籤雜訊設為零。為何單一特徵的資訊為零,組合卻有一位元?
A、B 為獨立公平位元,Y=A XOR B XOR E,獨立的 E~Bernoulli(ε)。因此 I(A;Y)=I(B;Y)=0,而 I(A,B;Y)=1−h₂(ε)。此母體恆等式不等於有限樣本的泛化界限。