溫度、top-k 與 top-p 如何改變分布
中階NLP 08・以 Transformer 建構序列到序列模型(機器翻譯、聊天機器人)互動圖表
題目說明
追蹤固定 logits 經過溫度縮放、top-k 截斷、核心截斷與重新正規化的結果。
試試看:固定溫度並降低 top-p。為何滑桿連續移動,輸出熵卻可能突然改變?
提示
使用這個實驗的章節段落:
解析
請先回答預測問題,或在準備好時再打開解析。
顯示解析
top-p 保留的是整數個詞元,只有在累積機率越過 p 時,保留集合才會改變。以預設 logits 來說,熵維持不變,在 p 約 0.65 時從 0 跳到 0.84,在 0.9 附近再跳一次。
實驗 · 溫度、top-k 與 top-p 如何改變分布
- 保留候選數
- 3
- 熵(位元)
- 1.201
- 機率總和
- 1
溫度縮放 logits 的相對差距。截斷將排除候選的機率設為零,再正規化保留候選;它無法增加模型掌握的訊息。
試試看:固定溫度並降低 top-p。為何滑桿連續移動,輸出熵卻可能突然改變?
五個合成候選詞的 logits 為 [3,2,1,0,−1]。先套用 top-k,再對重新正規化的分布套用 top-p。不訓練模型,也不從熵推論文字品質。