完整搜尋頁面 →

兩個隱藏單元如何彎折決策區域

入門NLP 03・自然語言處理的類神經網路互動圖表

題目說明

在 XOR 四個角點上,比較固定雙單元網路使用與不使用非線性激活的差異。

試試看:先用線性激活,試試各種偏差:四個角點能同時分類正確嗎?再切換為 ReLU,調整倍率與偏差。為何非線性會改變答案?

先預測

選擇線性激活時,有沒有任何輸出偏差能讓四個 XOR 角點都分類正確?

解析

請先回答預測問題,或在準備好時再打開解析。

顯示解析

線性激活會讓整個網路縮成單一線性分數,它隨 x + y 增加而單調下降。XOR 需要 x + y 的中間值是類別 1、兩端都是類別 0,單一門檻做不到。最好的情況也只能答對四個角點中的三個。

實驗 · 兩個隱藏單元如何彎折決策區域

先預測

選擇線性激活時,有沒有任何輸出偏差能讓四個 XOR 角點都分類正確?

正確角點
3 / 4
P(1 | 0,1)
0.881
P(1 | 1,1)
0.119

線性隱藏層會合併成單一仿射決策邊界。非線性單元組合出分段區域,能把 XOR 的兩個對角點分到同一類。

試試看:先用線性激活,試試各種偏差:四個角點能同時分類正確嗎?再切換為 ReLU,調整倍率與偏差。為何非線性會改變答案?

權重由手工設定而非訓練:h₁=a(g(x+y))、h₂=a(g(x+y−1))、p=σ(4(h₁−2h₂)/g−2+b)。顏色為 P(類別 1),圓圈標示已知角點標籤。

方法來源

在互動實驗頁開啟 →