完整搜尋頁面 →

為何這份文件排在第一?

進階NLP 09・以 Transformer 做語言模型(自然語言生成)互動圖表

題目說明

在完整可見的本地語料上,觀察 BM25 詞頻飽和與文件長度正規化。

試試看:先搜尋 red,再搜尋 robots objects。改變長度正規化與飽和程度,根據文件中的詞解釋排名交換。

實驗 · 為何這份文件排在第一?

最高分文件
D2
最高分
1.86
命中文件
4

IDF 提高少數文件中才出現的詞之權重。k₁ 控制重複命中的飽和程度;b 控制相對於此語料平均長度的懲罰。

試試看:先搜尋 red,再搜尋 robots objects。改變長度正規化與飽和程度,根據文件中的詞解釋排名交換。

六份合成文件,採小寫英文字詞切分、不重複查詢詞與正值平滑 IDF。詞彙相關分數不代表文件足以回答問題。

方法來源

在互動實驗頁開啟 →