完整搜尋頁面 →

逐步合併字元,建立子詞

入門NLP 01・自然語言處理導論互動圖表

題目說明

在小型加權詞彙表上訓練 BPE,再將學得的合併順序套用到新字詞。

試試看:比較 lower、slowest 與 glow。哪些子詞能用於未見字詞?哪些合併只是壓縮訓練詞彙?

實驗 · 逐步合併字元,建立子詞

學得合併
4
訓練子詞總數(加權)
31
輸入子詞數
5

合併次數只由固定訓練詞彙計算。編碼依序套用已學得的規則,不會用你的輸入重新訓練。

試試看:比較 lower、slowest 與 glow。哪些子詞能用於未見字詞?哪些合併只是壓縮訓練詞彙?

這是字元層級 BPE,使用詞尾符號 ▁,同分時依字典順序決定。不使用位元組切詞器或預訓練詞彙表。新字元保留為單獨子詞,輸入中的空格也視為字元。

方法來源

在互動實驗頁開啟 →