完整搜尋頁面 →

溫度、top-k 與 top-p 如何改變分布

中階NLP 08・以 Transformer 建構序列到序列模型(機器翻譯、聊天機器人)互動圖表

題目說明

追蹤固定 logits 經過溫度縮放、top-k 截斷、核心截斷與重新正規化的結果。

試試看:固定溫度並降低 top-p。為何滑桿連續移動,輸出熵卻可能突然改變?

先預測

把溫度固定為 1,從 1.0 慢慢降低 top-p。輸出熵會怎麼變?

解析

請先回答預測問題,或在準備好時再打開解析。

顯示解析

top-p 保留的是整數個詞元,只有在累積機率越過 p 時,保留集合才會改變。以預設 logits 來說,熵維持不變,在 p 約 0.65 時從 0 跳到 0.84,在 0.9 附近再跳一次。

實驗 · 溫度、top-k 與 top-p 如何改變分布

先預測

把溫度固定為 1,從 1.0 慢慢降低 top-p。輸出熵會怎麼變?

保留候選數
3
熵(位元)
1.201
機率總和
1

溫度縮放 logits 的相對差距。截斷將排除候選的機率設為零,再正規化保留候選;它無法增加模型掌握的訊息。

試試看:固定溫度並降低 top-p。為何滑桿連續移動,輸出熵卻可能突然改變?

五個合成候選詞的 logits 為 [3,2,1,0,−1]。先套用 top-k,再對重新正規化的分布套用 top-p。不訓練模型,也不從熵推論文字品質。

方法來源

在互動實驗頁開啟 →