數一數下一個詞
入門NLP 01・自然語言處理導論互動圖表
題目說明
用可編輯的小型語料建立 n-gram 分布,觀察次數、句子邊界與平滑化。
試試看:輸入未見過的上下文,把 α 設為零。估計為何沒有定義?提高 α,觀察機率如何分配。
實驗 · 數一數下一個詞
- 上下文次數
- 3
- 詞彙表大小
- 8
- 機率總和(全部詞元)
- 1
上下文: robots. P(w | h) = (count(h,w) + α) / (count(h) + α|V|)。
試試看:輸入未見過的上下文,把 α 設為零。估計為何沒有定義?提高 α,觀察機率如何分配。
每個非空白行是一個句子。詞元轉為小寫並以空白切分,標點保留在原詞元中;最多使用前 8,000 個字元。詞彙表只由語料建立,再加入 [EOS] 與 [UNK]。[BOS] 用於補齊句首,不是預測目標。查詢最後 n − 1 個詞元構成上下文,空查詢表示句首。這是計數示範,不是中文斷詞器。