完整搜尋頁面 →

預測相同,機率品質卻不同

入門NLP 03・自然語言處理的類神經網路互動圖表

題目說明

對固定驗證 logits 套用正溫度,比較準確率、對數損失與機率平方誤差。

試試看:找出對數損失低於 T=1 的溫度。為何信心改變時,準確率保持不變?

先預測

把溫度 T 從 1 提高到 4。分類器的準確率會改變嗎?

解析

請先回答預測問題,或在準備好時再打開解析。

顯示解析

把每個 logit 除以 T 不會改變正負號,所以每個預測類別都不變(此處準確率維持 0.75)。改變的只有信心,對數損失也隨之改變。

實驗 · 預測相同,機率品質卻不同

先預測

把溫度 T 從 1 提高到 4。分類器的準確率會改變嗎?

準確率
75%
平均對數損失(nat)
0.498
Brier 分數
0.177

正溫度保留 logits 排序與二元決策。它能調整過度自信或信心不足,卻無法修正分類器判錯的樣本。

試試看:找出對數損失低於 T=1 的溫度。為何信心改變時,準確率保持不變?

八筆合成驗證觀察,不是基準測試。二元機率使用 σ(logit/T),決策閾值固定為 0.5。在此挑選 T 是示範驗證集調整,不代表未見測試集上的表現。

方法來源

在互動實驗頁開啟 →