對齊、困難負例與特徵坍縮
入門NLP 04・詞彙語意與詞嵌入互動圖表
題目說明
移動配對與未配對單位向量,觀察對比學習使用的正規化匹配損失。
試試看:讓負例比正例更靠近錨點。降低溫度會幫助正確配對嗎?接著讓所有向量坍縮。
實驗 · 對齊、困難負例與特徵坍縮
- 正例機率
- 0.896
- 匹配損失(nat)
- 0.109
- 正例餘弦值
- 0.94
損失 = −log(exp(sim⁺/τ) / Σ exp(sim/τ))。溫度會強化原本相似度最高的候選。坍縮的單位向量產生相等機率與 log(4) 損失。
試試看:讓負例比正例更靠近錨點。降低溫度會幫助正確配對嗎?接著讓所有向量坍縮。
一個錨點、一個正例與三個負例;直接控制向量,不進行訓練。相同匹配幾何可解釋影像與文字檢索,但這些不是 CLIP 特徵或語意預測。