完整搜尋頁面 →

數一數下一個詞

入門NLP 01・自然語言處理導論互動圖表

題目說明

用可編輯的小型語料建立 n-gram 分布,觀察次數、句子邊界與平滑化。

試試看:輸入未見過的上下文,把 α 設為零。估計為何沒有定義?提高 α,觀察機率如何分配。

實驗 · 數一數下一個詞

上下文次數
3
詞彙表大小
8
機率總和(全部詞元)
1

上下文: robots. P(w | h) = (count(h,w) + α) / (count(h) + α|V|)。

試試看:輸入未見過的上下文,把 α 設為零。估計為何沒有定義?提高 α,觀察機率如何分配。

每個非空白行是一個句子。詞元轉為小寫並以空白切分,標點保留在原詞元中;最多使用前 8,000 個字元。詞彙表只由語料建立,再加入 [EOS] 與 [UNK]。[BOS] 用於補齊句首,不是預測目標。查詢最後 n − 1 個詞元構成上下文,空查詢表示句首。這是計數示範,不是中文斷詞器。

方法來源

在互動實驗頁開啟 →