完整搜尋頁面 →

兩個無用線索合起來可以有用

進階IT 08・網路、資訊不等式與學習互動圖表

題目說明

計算各自獨立的兩個位元及其組合,對帶雜訊 XOR 標籤提供多少資訊。

試試看:把標籤雜訊設為零。為何單一特徵的資訊為零,組合卻有一位元?

先預測

A 與 B 單獨都不含標籤的資訊。在沒有標籤雜訊時,兩者合起來能提供多少資訊?

提示

使用這個實驗的章節段落:

解析

請先回答預測問題,或在準備好時再打開解析。

顯示解析

標籤是 A XOR B。只知道其中一位元時,標籤仍像公平硬幣;兩者都知道才能完全決定標籤:I(A,B;Y) = 1 − h₂(ε),在 ε = 0 時是 1 位元。

實驗 · 兩個無用線索合起來可以有用

先預測

A 與 B 單獨都不含標籤的資訊。在沒有標籤雜訊時,兩者合起來能提供多少資訊?

I(A;Y)
0 bits
I(B;Y)
0 bits
I(A,B;Y)
0.531 bits
I(A;Y|B)
0.531 bits

任一列或欄的平均都是 0.5:單看一個特徵不改變標籤分布,兩個一起看則可能改變。

試試看:把標籤雜訊設為零。為何單一特徵的資訊為零,組合卻有一位元?

A、B 為獨立公平位元,Y=A XOR B XOR E,獨立的 E~Bernoulli(ε)。因此 I(A;Y)=I(B;Y)=0,而 I(A,B;Y)=1−h₂(ε)。此母體恆等式不等於有限樣本的泛化界限。

方法來源

在互動實驗頁開啟 →