完整搜尋頁面 →

對齊、困難負例與特徵坍縮

入門NLP 04・詞彙語意與詞嵌入互動圖表

題目說明

移動配對與未配對單位向量,觀察對比學習使用的正規化匹配損失。

試試看:讓負例比正例更靠近錨點。降低溫度會幫助正確配對嗎?接著讓所有向量坍縮。

實驗 · 對齊、困難負例與特徵坍縮

正例機率
0.896
匹配損失(nat)
0.109
正例餘弦值
0.94

損失 = −log(exp(sim⁺/τ) / Σ exp(sim/τ))。溫度會強化原本相似度最高的候選。坍縮的單位向量產生相等機率與 log(4) 損失。

試試看:讓負例比正例更靠近錨點。降低溫度會幫助正確配對嗎?接著讓所有向量坍縮。

一個錨點、一個正例與三個負例;直接控制向量,不進行訓練。相同匹配幾何可解釋影像與文字檢索,但這些不是 CLIP 特徵或語意預測。

方法來源

在互動實驗頁開啟 →