兩個隱藏單元如何彎折決策區域
入門NLP 03・自然語言處理的類神經網路互動圖表
題目說明
在 XOR 四個角點上,比較固定雙單元網路使用與不使用非線性激活的差異。
試試看:先用線性激活,試試各種偏差:四個角點能同時分類正確嗎?再切換為 ReLU,調整倍率與偏差。為何非線性會改變答案?
解析
請先回答預測問題,或在準備好時再打開解析。
顯示解析
線性激活會讓整個網路縮成單一線性分數,它隨 x + y 增加而單調下降。XOR 需要 x + y 的中間值是類別 1、兩端都是類別 0,單一門檻做不到。最好的情況也只能答對四個角點中的三個。
實驗 · 兩個隱藏單元如何彎折決策區域
- 正確角點
- 3 / 4
- P(1 | 0,1)
- 0.881
- P(1 | 1,1)
- 0.119
線性隱藏層會合併成單一仿射決策邊界。非線性單元組合出分段區域,能把 XOR 的兩個對角點分到同一類。
試試看:先用線性激活,試試各種偏差:四個角點能同時分類正確嗎?再切換為 ReLU,調整倍率與偏差。為何非線性會改變答案?
權重由手工設定而非訓練:h₁=a(g(x+y))、h₂=a(g(x+y−1))、p=σ(4(h₁−2h₂)/g−2+b)。顏色為 P(類別 1),圓圈標示已知角點標籤。
方法來源
- Ian Goodfellow, Yoshua Bengio & Aaron Courville, Deep Learning, MIT Press, 2016
- Ashish Vaswani et al., Attention Is All You Need, NeurIPS, 2017
- Jonathan Ho, Ajay Jain & Pieter Abbeel, Denoising Diffusion Probabilistic Models, NeurIPS, 2020
- Tim Salimans & Jonathan Ho, Progressive Distillation for Fast Sampling of Diffusion Models, ICLR, 2022