預測相同,機率品質卻不同
入門NLP 03・自然語言處理的類神經網路互動圖表
題目說明
對固定驗證 logits 套用正溫度,比較準確率、對數損失與機率平方誤差。
試試看:找出對數損失低於 T=1 的溫度。為何信心改變時,準確率保持不變?
提示
使用這個實驗的章節段落:
解析
請先回答預測問題,或在準備好時再打開解析。
顯示解析
把每個 logit 除以 T 不會改變正負號,所以每個預測類別都不變(此處準確率維持 0.75)。改變的只有信心,對數損失也隨之改變。
實驗 · 預測相同,機率品質卻不同
- 準確率
- 75%
- 平均對數損失(nat)
- 0.498
- Brier 分數
- 0.177
正溫度保留 logits 排序與二元決策。它能調整過度自信或信心不足,卻無法修正分類器判錯的樣本。
試試看:找出對數損失低於 T=1 的溫度。為何信心改變時,準確率保持不變?
八筆合成驗證觀察,不是基準測試。二元機率使用 σ(logit/T),決策閾值固定為 0.5。在此挑選 T 是示範驗證集調整,不代表未見測試集上的表現。