填補會改變平均池化後的句子表示嗎?
入門NLP 03・自然語言處理的類神經網路互動圖表
題目說明
把三個詞的句子補上零向量,比較正確的遮罩平均,與把填補算進分母的平均。
試試看:保持「填補計入分母」的錯誤設定,把填補數從 0 拖到 9:每一步先預測 h 與 P(類別 1),並解釋句子明明沒變,分類器為何趨近 0.5。接著切換為遮罩平均,確認填補不再有影響。最後在反轉句子上試位置權重:只有這個模式下,詞序才會改變答案。
解析
請先回答預測問題,或在準備好時再打開解析。
顯示解析
嵌入的總和沒有改變(零向量不貢獻任何值),但被除以 3 + 9 = 12 而不是 3,所以 h 縮小為 3/12 = 1/4 倍:從 0.7 變成 0.175。分類器輸出從 0.971 降到 0.706,趨近未決定的 0.5,儘管句子完全相同。
實驗 · 填補會改變平均池化後的句子表示嗎?
- 池化 h
- 0.233
- 遮罩平均 h(參考)
- 0.7
- P(類別 1)
- 0.763
- 參考 P(類別 1)
- 0.971
- 實際/計入長度
- 3 / 9
正確遮罩下,零向量填補不應改變平均值。把填補算進分母,會讓 h 縮小為 3 除以計入的長度,並把 P(類別 1) 拉向 0.5,儘管句子沒有改變。未加權平均也不看詞序;只有位置加權的診斷設定能分辨兩個句子。
試試看:保持「填補計入分母」的錯誤設定,把填補數從 0 拖到 9:每一步先預測 h 與 P(類別 1),並解釋句子明明沒變,分類器為何趨近 0.5。接著切換為遮罩平均,確認填補不再有影響。最後在反轉句子上試位置權重:只有這個模式下,詞序才會改變答案。
固定純量嵌入:dogs=1、chase=0.4、cats=0.7;分類器 p=σ(5h)。遮罩平均除以 3 個真實詞元,所以零向量填補不會加進任何東西;錯誤版本則除以 3 + 填補數。參考長條永遠是同一個句子的遮罩平均。一般平均依構造就不看詞序,交換句子不會有任何變化;位置權重 1、2、3 只用來診斷,不是訓練過的句法模型。