為何這份文件排在第一?
進階NLP 09・以 Transformer 做語言模型(自然語言生成)互動圖表
題目說明
在完整可見的本地語料上,觀察 BM25 詞頻飽和與文件長度正規化。
試試看:先搜尋 red,再搜尋 robots objects。改變長度正規化與飽和程度,根據文件中的詞解釋排名交換。
實驗 · 為何這份文件排在第一?
- 最高分文件
- D2
- 最高分
- 1.86
- 命中文件
- 4
IDF 提高少數文件中才出現的詞之權重。k₁ 控制重複命中的飽和程度;b 控制相對於此語料平均長度的懲罰。
試試看:先搜尋 red,再搜尋 robots objects。改變長度正規化與飽和程度,根據文件中的詞解釋排名交換。
六份合成文件,採小寫英文字詞切分、不重複查詢詞與正值平滑 IDF。詞彙相關分數不代表文件足以回答問題。