注意力:哪些詞元可見?
中階NLP 07・注意力機制與 Transformer互動圖表
題目說明
使用相同的查詢、鍵與值,比較雙向注意力與因果注意力。
試試看:在因果模式選擇第一個查詢:它對自己的權重必須為 1。切換至雙向模式,再降低溫度。
實驗 · 注意力:哪些詞元可見?
- 可見詞元數
- 3
- 權重總和
- 1
- 注意力輸出
- [0.7517, 0.7517]
分數欄包含溫度縮放。被遮蔽位置的分數為 −∞,權重恰為零。改變遮罩後,剩餘鍵的機率會重新正規化。
試試看:在因果模式選擇第一個查詢:它對自己的權重必須為 1。切換至雙向模式,再降低溫度。
Q、K、V 皆為固定、人工設定的二維向量,並非學得的語言表徵。分數為 Q · K / (√2 τ);τ 是額外的溫度控制,τ = 1 時為一般縮放方式。因果注意力在 softmax 前遮蔽查詢之後的位置,輸出為 V 的加權和。這些權重用來展示資訊如何聚合,無法解釋語言意義。
方法來源
- Ian Goodfellow, Yoshua Bengio & Aaron Courville, Deep Learning, MIT Press, 2016
- Ashish Vaswani et al., Attention Is All You Need, NeurIPS, 2017
- Jonathan Ho, Ajay Jain & Pieter Abbeel, Denoising Diffusion Probabilistic Models, NeurIPS, 2020
- Tim Salimans & Jonathan Ho, Progressive Distillation for Fast Sampling of Diffusion Models, ICLR, 2022