完整搜尋頁面 →

遮罩預測器能看見哪些位置?

中階NLP 07・注意力機制與 Transformer互動圖表

題目說明

改變右側語境線索,以因果遮罩隱藏它,再將不同輸出頭接到同一個小型語境向量。

試試看:在兩種遮罩下分別改變右側線索。哪一種情況的遮罩位置預測必須保持相同?為什麼?

實驗 · 遮罩預測器能看見哪些位置?

使用語境位置數
3
第一個輸出機率
0.931
輸出機率總和
1

目標內容始終不可見。雙向目標可利用右側語境,因果次詞預測則不行。輸出頭將表徵映射為任務所需標籤。

試試看:在兩種遮罩下分別改變右側線索。哪一種情況的遮罩位置預測必須保持相同?為什麼?

此處以手工設定的均勻語境編碼器與兩個線性輸出頭,示範 BERT 類型的可見範圍及任務介面。這些不是 BERT 嵌入或預訓練預測。序列輸出頭讀取玩具池化語境,不是真正的 [CLS] 表徵。

方法來源

在互動實驗頁開啟 →