遮罩預測器能看見哪些位置?
中階NLP 07・注意力機制與 Transformer互動圖表
題目說明
改變右側語境線索,以因果遮罩隱藏它,再將不同輸出頭接到同一個小型語境向量。
試試看:在兩種遮罩下分別改變右側線索。哪一種情況的遮罩位置預測必須保持相同?為什麼?
實驗 · 遮罩預測器能看見哪些位置?
- 使用語境位置數
- 3
- 第一個輸出機率
- 0.931
- 輸出機率總和
- 1
目標內容始終不可見。雙向目標可利用右側語境,因果次詞預測則不行。輸出頭將表徵映射為任務所需標籤。
試試看:在兩種遮罩下分別改變右側線索。哪一種情況的遮罩位置預測必須保持相同?為什麼?
此處以手工設定的均勻語境編碼器與兩個線性輸出頭,示範 BERT 類型的可見範圍及任務介面。這些不是 BERT 嵌入或預訓練預測。序列輸出頭讀取玩具池化語境,不是真正的 [CLS] 表徵。