逐步合併字元,建立子詞
入門NLP 01・自然語言處理導論互動圖表
題目說明
在小型加權詞彙表上訓練 BPE,再將學得的合併順序套用到新字詞。
試試看:比較 lower、slowest 與 glow。哪些子詞能用於未見字詞?哪些合併只是壓縮訓練詞彙?
實驗 · 逐步合併字元,建立子詞
- 學得合併
- 4
- 訓練子詞總數(加權)
- 31
- 輸入子詞數
- 5
合併次數只由固定訓練詞彙計算。編碼依序套用已學得的規則,不會用你的輸入重新訓練。
試試看:比較 lower、slowest 與 glow。哪些子詞能用於未見字詞?哪些合併只是壓縮訓練詞彙?
這是字元層級 BPE,使用詞尾符號 ▁,同分時依字典順序決定。不使用位元組切詞器或預訓練詞彙表。新字元保留為單獨子詞,輸入中的空格也視為字元。