完整搜尋頁面 →

注意力:哪些詞元可見?

中階NLP 07・注意力機制與 Transformer互動圖表

題目說明

使用相同的查詢、鍵與值,比較雙向注意力與因果注意力。

試試看:在因果模式選擇第一個查詢:它對自己的權重必須為 1。切換至雙向模式,再降低溫度。

實驗 · 注意力:哪些詞元可見?

可見詞元數
3
權重總和
1
注意力輸出
[0.7517, 0.7517]

分數欄包含溫度縮放。被遮蔽位置的分數為 −∞,權重恰為零。改變遮罩後,剩餘鍵的機率會重新正規化。

試試看:在因果模式選擇第一個查詢:它對自己的權重必須為 1。切換至雙向模式,再降低溫度。

Q、K、V 皆為固定、人工設定的二維向量,並非學得的語言表徵。分數為 Q · K / (√2 τ);τ 是額外的溫度控制,τ = 1 時為一般縮放方式。因果注意力在 softmax 前遮蔽查詢之後的位置,輸出為 V 的加權和。這些權重用來展示資訊如何聚合,無法解釋語言意義。

方法來源

在互動實驗頁開啟 →