完整搜尋頁面 →

NLP 01・自然語言處理導論

自然語言處理入門20 分鐘更新於 2026年11月6日

先備知識:從這裡開始・學習路徑與推薦教科書

導覽:本頁與本系列: 導覽:本頁與本系列
用實驗理解本章 2 個互動實驗

用可編輯的小型語料建立 n-gram 分布,觀察次數、句子邊界與平滑化。

你將學到

  • 說明語言為何對電腦困難,並為每個語言學層次舉出一個歧義例子。
  • 透過標誌性的論文,追溯 NLP 的主要時代:規則、統計學習、神經網路與預訓練模型。
  • 依輸出形式分類常見 NLP 任務,並找到涵蓋各任務的教學。
  • 認識中文特有的問題:斷詞,以及繁體字與簡體字兩套字集。
  • 透過輸入、輸出與所需語言證據定義 NLP 任務,並在正規化與斷詞過程中保留這些證據。
  • 建立資料切分,找出錯誤真正起源的處理階段。

先看全貌

自然語言處理(natural language processing, NLP)研究能分析、解讀或產生人類語言的電腦系統。NLP 流程把特定語言問題轉成計算。考慮「Pump B: not ready.」:維護應用可能需要設備名稱與陳述的就緒狀態;訊息分流應用可能只需要類別;對話助理則可能需要追問還有什麼沒完成。即使輸入字串相同,它們也是不同任務。

第一步是決定應用需要什麼答案,以及哪些證據支持答案。接著把文字轉成模型輸入,同時保留這些證據。前處理已抹去的差異,再強的模型也無法恢復;看似合理的標籤,若描述錯誤的目標,也沒有用。

本教學以 Hagiwara 從應用出發的觀點,以及 McRoy 對語言和相關資料結構的說明為基礎 [1, 2]。我們先看語言為何困難、領域如何走到今天的方法、它解決哪些任務,以及中文文字有什麼不同。接著沿著一條實用路線前進:定義任務、保留文字、選擇計算單位、建立資料,再評估結果。NLP 02 說明這些決策背後的語言結構,本教學最後的路線圖則串起整個系列。

1. 語言為何對電腦困難

白話版。 同一串字元可以有不同意思,而意思取決於結構、語境與說話者的目的。除非我們提供其餘資訊,否則電腦只看得到字元。

歧義出現在語言分析的每個層次。下表每一列都會在 NLP 02 以例子與程式深入說明:

層次例子兩種解讀
詞邊界學生會說話「學生有說話能力」/「學生會在發言」
詞類“the pilots can land” / “the metal can fell”“can” 作助動詞/作名詞
詞義“window”牆上的開口/螢幕上的區域
附著“The technician inspected the panel with the camera.”相機是工具/相機裝在面板上
作用域“Every technician uses a camera.”可能是不同相機/一台共用相機
指稱“Mei put a camera beside a lamp. It was overheating.”“it” 是相機/是燈
意圖“Can you lower the gain?”詢問能力/請求動作

人們解決大多數這類歧義時幾乎不自覺,靠的是前後文、情境與世界知識。程式則必須被提供這些語境,或從資料中學會近似它們。另外三種性質讓困難加劇。

  • 生產性。 說話者隨時用熟悉的零件組出新詞與新句子,因此沒有一份有限的輸入清單能涵蓋整個語言。
  • 偏斜的頻率。 少數詞極為常見,大多數詞很罕見。NLP 02 用 Zipf 定律量測這件事:在一個語料庫中,三分之一的詞型別只出現一次。罕見詞正是模型證據最少的地方。
  • 變異。 方言、語域、拼寫慣例、混合語言訊息與書寫系統都不相同。以某一變體訓練的系統,可能在另一變體上悄悄失敗。

這些都不表示 NLP 做不到,而是表示每個系統都在選擇保留哪些區別;好的工程會把這些選擇明確寫出來。

2. 簡史:規則、統計、神經網路與預訓練

白話版。 早期系統依照人工撰寫的規則運作。後來的系統從大量文字集合學習機率。接著神經網路學會自己的特徵;今天,多數系統從一個以未標註文字預訓練的大型模型出發,再調整到任務上。

NLP 里程碑時間軸:從 1966 年的 ELIZA,經過 1993 年的統計機器翻譯與 Penn Treebank、神經語言模型與 word2vec,到 Transformer、BERT、GPT-3 與 InstructGPT
圖 1 — 本教學引用的里程碑,分成四個大致的時代。事件等距排列,並未依年份比例;實際上各種方法彼此重疊。

規則與人工建立的知識。 Weizenbaum 的 ELIZA(1966)回應輸入的英文時,會比對關鍵詞,並套用腳本中的分解與重組規則;它最知名的腳本模仿心理治療師的對話風格 [6]。這個時代的系統以人工編寫文法、詞庫與模式。在設計範圍內它們可以很精確,但每遇到新的說法或領域,都需要新規則。

從語料庫進行統計學習。 在接下來的數十年間,研究者越來越常從資料估計模型,而不是寫下每一條規則。Brown 等人(1993)描述一系列統計翻譯模型,其參數由互為翻譯的句子對估計而得 [7]。同一年,Penn Treebank 釋出一個標註詞性與句法結構的大型英文語料庫 [8],讓標記器與剖析器有共同的訓練資料與共同的測試。關鍵改變是證據來自語料庫中的計數,而在保留資料上評估也成為標準做法。

神經網路。 Bengio 等人(2003)訓練一個神經語言模型,同時學習每個詞的分散式表示與詞序列的機率 [9]。Collobert 等人(2011)用同一個神經架構處理詞性標註、詞組切分(chunking)、命名實體辨識與語意角色標註,主要從未標註文字學習內部表示,而不是依賴人工設計的特徵 [10]。Mikolov 等人(2013)讓詞向量能在大型語料庫上低成本地訓練 [11]。這時的模型仍傾向一次只為一個任務建立。

預訓練模型與大型語言模型。 Transformer(2017)以注意力取代循環結構 [12]。ELMo(2018)從預訓練的雙向語言模型提供依語境而變的詞表示 [13];BERT(2019)在未標註文字上預訓練深層雙向 Transformer,再為每個任務加上小型輸出層做微調 [14]。GPT-3(2020)顯示大型自迴歸模型只要在提示中看到幾個例子,不需梯度更新,就能執行許多任務 [15];InstructGPT(2022)則以人類回饋微調這類模型,使它遵循指令 [16]。Zhao 等人的綜述以預訓練、適應調整、使用方式與能力評估四個面向,組織大型語言模型的文獻 [17]。

各時代彼此重疊:規則式元件、計數方法與神經模型都仍在使用。能延續下去的是第 4–9 節的流程。不論用哪種模型,總要有人定義任務、保留證據、選擇單位、建立資料並進行評估。

3. 主要任務與應用

白話版。 大多數 NLP 任務可以依輸出分組:整段文字一個標籤、每個詞一個標籤、一個結構、從集合中找出的段落,或新的文字。

輸出形式任務例子應用對應教學
每段文字或文字對一個標籤主題分類、情感分析、垃圾訊息偵測、自然語言推論分流、內容審核、評論分析NLP 03、NLP 11
每個 token 或範圍一個標籤詞性標註、命名實體辨識、資訊擷取把報告轉成紀錄NLP 06
語言結構剖析、語意角色、共指分析誰對誰做了什麼NLP 12
從集合中找證據搜尋、擷取式問答文件搜尋、客服NLP 11、NLP 09
依輸入產生新文字翻譯、摘要、對話翻譯工具、助理、聊天機器人NLP 08、NLP 09
可重用的表示詞與句子嵌入、預訓練編碼器相似度、分群、遷移到新任務NLP 04、NLP 10

同一個應用常結合好幾列。回答維修問題的助理,可能要分類問題、檢索段落、擷取設備名稱,再產生回覆。每一步都有自己的輸出與錯誤,所以本教學其餘部分把任務定義當成第一個設計決策。

4. 選模型前先規定任務

白話版。 「理解這則訊息」太籠統,無法直接訓練或評估。先指定哪些意思必須變成輸出。

對原創訊息「Pump B: not ready.」,三種可能輸出是:

任務輸出重要證據
主題分類maintenance訊息談的是設備狀態
實體擷取Pump B,附上原文範圍設備名稱的確切字元
狀態擷取設備 Pump B;就緒狀態 false名稱與否定就緒的陳述

第一個答案不能證明第三個答案。分類器可能只靠「pump」辨認主題,完全忽略「not」。狀態擷取器則必須保留否定。回傳設備名稱的系統還需要邊界規則:是否包含 B?是否排除冒號?把這些決定寫進標註說明。

接著比較「Pump B was not ready yesterday」與「Pump B is ready now」。設備相同,時間與肯定/否定卻不同。即時狀態應用需要處理多個帶日期陳述的規則;歷史擷取器可能保留兩者。正確答案取決於任務定義與可用脈絡,而不是字串唯一通用的解讀。

對「It still isn’t ready」,訊息沒有寫設備名稱。若應用提供前文對話,指涉解析就能使用它;若只有這句孤立文字,辨認出 Pump B 就是在加入從未提供的資訊。這是輸入設計問題,NLP 12(共指)與 NLP 08(對話狀態)會進一步討論。

預測與執行要分開。預測出重新安排的請求,並不能決定該修改哪一筆預約。先從能和文字核對的輸出開始,例如意圖標籤、設備名稱範圍,或明確陳述的事件。後續教學再加入解析缺漏細節所需的情境推理。

5. 保留原始文字與證據

白話版。 模型輸入與畫面上的證據文字,可以是同一則訊息的不同表示。保留能連起兩者的方式。

處理流程可寫成:

r→gx→fθy^.r\xrightarrow{g}x\xrightarrow{f_\theta}\widehat y.

其中 rr 是原始輸入紀錄;gg 是前處理與數值編碼函數;xx 是模型輸入;fθf_\theta 是參數為 θ\theta 的預測器;y^\widehat y 是輸出。紀錄可包含文字與允許使用的脈絡。前處理涵蓋正規化、token 邊界與詞彙 ID 等決策。

若兩筆不同紀錄變成同一個 xx,確定性預測器就必須對兩者給出相同結果:

g(r1)=g(r2)⟹fθ(g(r1))=fθ(g(r2)).g(r_1)=g(r_2)\quad\Longrightarrow\quad f_\theta(g(r_1))=f_\theta(g(r_2)).

其中 r1,r2r_1,r_2 是兩筆原始紀錄。這個簡單等式解釋了為什麼前處理也是模型的一部分。若移除「not」使肯定與否定陳述完全相同,之後再改神經架構也無法區分。把字母轉成小寫而合併 US 與 us,或移除標點而讓小數變成另一個字串,也有同樣問題。

有些等價關係很有用。Unicode NFC 正規化把標準等價的字元序列映成共同形式 [3]。這和自行決定移除重音、標點或大小寫不同:前者處理指定的字元等價關係,後者可能抹掉任務需要的差異。應先決定本應用中哪些輸入應視為等價,而不是把所有轉換都當成無害清理。

原始文字依序經過正規化、斷詞、數值編碼、預測與任務輸出
圖 2 — 示意文字處理流程。保留與原始文字的連結,訓練與評估時使用同一套已擬合編碼。

正規化與文字範圍的算例

Café 可以使用預組合的重音字母,也可以用基本字母 e 接上一個組合重音。兩者看起來相似,卻占用不同數量的 Unicode 碼位(code point)[3]。擷取器若回傳字元位置,正規化就可能讓後面的文字範圍位移。

文字範圍(span)[a,b)[a,b) 表示在指定字串中,從位移 aa 開始、到 bb 之前結束的字元。兩個位移都是非負整數,且 a≤ba\leq b。不知道它們對應哪種文字表示與索引單位,位置本身就沒有意義。

程式碼 · Python · 20 行
import re
import unicodedata

raw = 'Café Pump B: not ready.'
normalized = unicodedata.normalize('NFC', raw)
needle = 'Pump B'
raw_start = raw.index(needle)
normal_start = normalized.index(needle)
raw_span = (raw_start, raw_start + len(needle))
normal_span = (normal_start, normal_start + len(needle))
tokens = [(m.group(), m.start(), m.end())
          for m in re.finditer(r'\w+|[^\w\s]', normalized)]
assert normalized != raw
assert unicodedata.normalize('NFC', normalized) == normalized
assert raw[raw_span[0]:raw_span[1]] == needle
assert raw[normal_span[0]:normal_span[1]] != needle
assert all(normalized[start:end] == token for token, start, end in tokens)
print('code points:', len(raw), '->', len(normalized))
print('raw / normalized evidence spans:', raw_span, normal_span)
print('normalized tokens:', [token for token, _, _ in tokens])

程式輸出碼位數 24 -> 23。原始設備名稱範圍為 (6, 12),正規化後為 (5, 11)。兩者在各自字串中都選出 Pump B;把第二個範圍套到第一個字串,卻會選錯字元。最後一個斷言檢查正規化 token 與其來源位移是否對應。

做擷取時,可以維護轉換位置到原文的對齊,也可以直接在原始字串保留標註。本例展示錯誤如何發生,沒有實作通用對齊演算法。NLP 06 會說明詞、token 與字元範圍如何成為結構化輸出。

6. 決定計算使用哪些單位

白話版。 詞、字元與模型 token 回答不同問題。選計算單位時,不要把它誤當成語言的所有單位。

在「a cat and a dog」中,空白切分得到五個 token 實例(occurrences)與四種不同的型別(types):a、cat、and、dog。詞彙表替每個保留型別指定 ID。ID 是表格項目的名字,ID 7 並不比 ID 3 表達更大的意思。

「Pump B: not ready.」則帶來不同選擇。空白切分會把標點黏在詞上;辨識標點的切分器可能產生 Pump、B、:、not、ready、.;子詞斷詞器還可能把詞切得更細。它們都可能是有效的計算編碼,但 token 位置不同。詞標籤必須對齊模型實際使用的編碼。

子詞斷詞器從資料學習要保留哪些片段。NLP 02 會逐步訓練一個小型位元組對編碼(byte-pair encoding, BPE)斷詞器,並與 WordPiece、unigram 模型及 SentencePiece 比較。它的核心結論是:學到的片段反映頻率而不是構詞,而斷詞器是一整套已擬合的程序,不只是一份詞彙清單。

詞彙覆蓋率與未知輸入

詞彙表只包含保留的項目。若把沒見過的詞映到未知標記,所有這類詞都共享同一個 ID。任務若主要依賴熟悉的周圍詞,這可能可接受;但未見設備名稱與未見帳戶名稱之間的差異也會消失。

定義一個示意的未知 token 比例:

u=∑i=1N1[ti∉V]N.u=\frac{\sum_{i=1}^{N}\mathbf1[t_i\notin V]}{N}.

其中 uu 是未知 token 比例;tit_i 是指定斷詞器下第 ii 個 token 實例;VV 是擬合後詞彙表;N>0N\gt0 是評估的出現總數;1[⋅]\mathbf1[\cdot] 在條件成立時為一。重複出現的未知詞會重複計數。這量測缺少詞彙項目的比例,不是失去多少意思,也不是任務準確度。

7. 中文文字:斷詞與兩套字集

白話版。 中文書寫的詞與詞之間沒有空格,所以決定詞的起訖本身就是一種分析。中文也以繁體字與簡體字兩套標準字集書寫,在其中一套上擬合的模型,看到另一套時會遇到許多陌生字元。

斷詞

中文通常沒有詞間空白。「學生會說話」可以切成 學生 / 會 / 說話(學生有說話能力),也可以切成 學生會 / 說話(學生會在發言);脈絡有助選出原本的意思。模型斷詞器也可能只使用字元或子詞片段,其切分未必是完整詞法或語法分析。NLP 02 用一個小程式列舉兩種解讀,並區分這些語言結構。

斷詞也是一種慣例。第二屆國際中文斷詞評測使用四個語料庫:兩個為繁體字(臺灣的中央研究院與香港城市大學),兩個為簡體字(北京大學與微軟研究院),每個都依提供者自己的標準切分 [18]。當資料集有詞層級標籤時,它依循的標準就是任務定義的一部分;以字元為單位的模型在評估前,必須把輸出對齊到這些詞。

繁體字與簡體字

臺灣與香港的文字主要以繁體字書寫,中國大陸的文字則以簡體字書寫;上述評測語料庫也依循這個分界 [18]。許多字在兩套字集中相同,但也有許多字是不同的 Unicode 碼位:繁體的「機」是 U+6A5F,其簡體對應字則是 U+673A。Unicode 正規化不會合併它們,因為它們是不同的字元,而不是同一字元的不同編碼方式。

轉換不是一對一的字元替換。Unihan 資料庫為每個字記錄繁簡異體,並指出語境可能決定對應:從簡體轉成繁體時,U+810F 表示「內臟」時對應「臟」,表示「不乾淨」時對應「髒」[19]。不同地區的用詞也可能不同,所以即使字元轉換完美,也無法把一種變體的文字變成另一種變體的文字。

字集不一致會直接反映在詞彙覆蓋率上。下列程式在一句繁體句子上擬合字元詞彙表,再對同一句新句子的兩種寫法量測未知 token 比例 uu。簡體版本以跳脫碼書寫,以便看出哪些字元不同。

程式碼 · Python · 7 行
vocab = set("這台相機已經校正好了")              # character vocabulary fitted on Traditional text
tests = {"Traditional": "那台相機已經過熱了",
         # The same sentence in Simplified characters, written as escapes:
         "Simplified": "那台相\u673a已\u7ecf\u8fc7\u70ed了"}
for name, text in tests.items():
    unknown = [f"U+{ord(ch):04X}" for ch in text if ch not in vocab]
    print(f"{name:11s} u = {len(unknown)}/{len(text)}  unknown: {unknown}")

繁體句子的 u=3/9u=3/9:「那」、「過」、「熱」不在這段極小的訓練文字中。簡體句子的 u=5/9u=5/9:「那」(兩套字集相同)以及「過」、「熱」的簡體形式仍然未知,另外再加上「機」與「經」的簡體對應字,因為詞彙表只有它們的繁體形式。真實詞彙表大得多,但效果在性質上相同:主要以一套字集訓練的模型,對另一套字集的證據較少。請決定要同時用兩套字集訓練、用考慮語境的工具轉換,還是分別評估各字集,並說明你的選擇。

8. 建立真正回答任務的樣本與標籤

白話版。 語料庫是觀測集合;訓練樣本則依任務從觀測建立。建立方式決定模型學什麼。

分類樣本可以是完整訊息配上一個類別;擷取樣本可以是訊息配上字元範圍與標籤;語言建模則由文字本身提供預測目標,不需要類別標註。這些差異解釋了為什麼同一份語料能支援不同目標 [1, 2]。

假設維護訊息含有「the camera is fine, but the delivery was late」。產品情緒標籤、配送情緒標籤與整則訊息標籤未必一致。標註說明應包含目標。標註者若選不同目標,分歧首先反映任務定義問題,還不能直接解讀成模型品質問題。

定義資料切分的獨立單位。同一件客訴的兩種改寫,雖然是不同字串,卻可能描述同一事件。一則放訓練、一則放測試,可能讓測試獎勵辨認該事件,而不是轉移到新事件。相關訊息、對話或文件修訂若共享資訊而可能洩漏,就應整組切分。

須追蹤兩種擬合狀態:預測器從訓練標籤學權重,斷詞器或詞彙表可能從未標註訓練文字學習。若特徵流程仍用測試文字決定詞彙表,只隔離測試標籤還不夠。兩者都須依實驗規則固定。

用小型基準診斷表示方式

先從容易檢查行為的表示開始。訊息的計數表示保留哪些詞出現,卻忽略順序。因此「The dog bit the man」與「The man bit the dog」即使反轉誰對誰做了什麼,仍有相同計數。只用這些計數的確定性分類器,必須對兩者給出相同預測。

這是精確的表示限制。只要特徵映射仍相同,更多樣本也無法分開這組句子。局部片語特徵能分開部分語序差異;脈絡模型可使用更豐富的輸入互動。NLP 03 會推導並測試這些選擇。針對實際失敗增加結構,實驗才能辨認改變了什麼。

9. 評估輸出,診斷錯誤原因

白話版。 評估應告訴你哪裡出錯、該改善哪裡。單一彙總分數通常找不出原因。

分類時檢查每個類別的錯誤,尤其罕見類別;準確率(accuracy)可能掩蓋某類從未被預測的問題。精確率(precision)問回傳項目有多少正確,召回率(recall)問必要項目找回多少。兩者都取決於如何定義項目 [5]。擷取找到正確詞卻回傳錯誤範圍,是邊界錯誤;狀態紀錄配對正確設備卻判錯肯定/否定,是意思錯誤。

保留幾組只改變一個重要語言差異的挑戰案例,例如「ready」與「not ready」、Pump A 與 Pump B、「yesterday」與「now」。固定任務,只改變該差異。普通訊息答對,還不能說明系統是否使用了這些案例所需的區別。

觀察優先檢查改善必須證明什麼
未見設備名稱被合併成同一表示詞彙表與備援方式名稱在輸入中仍可區分
詞正確,證據反白範圍錯誤正規化與位移對齊回傳位移對應畫面原文
否定使真實標籤反轉,預測卻不變特徵映射與監督訊號相關差異保留於編碼,並影響決策
驗證結果好,新客戶結果差切分獨立性與領域差異表現能轉移到目標群體
在一套中文字集上表現好,另一套很差字元覆蓋率與轉換兩套字集都被涵蓋,或明確回報差距

盡可能一次只改一個階段。前處理和模型一起改,即使分數提高,也無法知道誰造成改善。解讀權重或輸出前,先檢查轉換後輸入。這讓錯誤分析成為可測試的解釋,而不是一串模型名字。

10. NLP 系列路線圖

本系列依循第 2 節的時代順序:先談語言結構,再談神經網路基礎、序列模型、注意力與 Transformer,最後是預訓練模型與結構化任務。

教學內容
NLP 01・自然語言處理導論語言為何困難、歷史、任務、中文問題,以及從任務到評估的流程
NLP 02・語言學基礎構詞、token 與子詞、詞性、句法、意義、語境、語料庫與 Zipf 定律
NLP 03・自然語言處理的類神經網路計數特徵、TF–IDF、邏輯迴歸與神經網路文字分類器
NLP 04・詞彙語意與詞嵌入分布式意義、計數式向量、word2vec
NLP 05・用於語言的循環神經網路n-gram 語言模型、困惑度、循環語言模型
NLP 06・以 RNN 做序列標註詞性標註、實體辨識與範圍評估
NLP 07・注意力機制與 Transformer注意力、語境表示與位置
NLP 08・以 Transformer 建構序列到序列模型編碼器–解碼器模型、解碼、機器翻譯與聊天機器人
NLP 09・以 Transformer 做語言模型因果語言模型、文字生成與檢索增強生成
NLP 10・預訓練模型:BERT遮罩語言預訓練與 BERT 編碼器
NLP 11・以 BERT 做分類情感分析、自然語言推論與擷取式問答輸出層
NLP 12・句法與語意任務剖析、語意角色、共指與篇章

本站其他教學涵蓋一般機制:ML 02 介紹神經網路,ML 04 介紹循環網路,ML 05 介紹注意力與 Transformer 區塊,IT 01 介紹熵與交叉熵。

第一次讀論文的路線。 先讀章節正文;這十二篇導讀是選讀檢查點,不是額外先修要求。每篇開頭說明先備知識,結尾提供下一步。路線依問題分組,不照發表年份排列;理解注意力動機時,可依 Seq2Seq → Bahdanau → Transformer 閱讀。

論文路線 1・文字單位與詞向量

先理解: 斷詞、向量內積、交叉熵

閱讀順序: BPE → word2vec → GloVe

理解檢查: token 是什麼?哪些證據賦予向量意義?

論文路線 2・局部與序列決策

先理解: 卷積、循環狀態、條件機率

閱讀順序: TextCNN → Seq2Seq → BiLSTM-CRF

理解檢查: 局部特徵如何變成類別、序列或受約束的標籤路徑?

論文路線 3・注意力與預訓練

先理解: 編碼器—解碼器流程、softmax、遮罩

閱讀順序: Bahdanau attention → Transformer → BERT

理解檢查: 模型能讀哪些上下文?訓練它預測什麼?

論文路線 4・任務目標與結構

先理解: 微調、句對、跨度評估

閱讀順序: Sentence-BERT → InstructGPT → Coreference

理解檢查: 相似度、人類偏好與實體連結需要哪些不同證據?

每讀一篇,試著解釋原圖的一條箭頭、定義目標式中的符號,並指出一個結果所用的資料切分與模型設定。若有不清楚的步驟,先回到導讀連結的所屬章節再繼續。

現代觀點

Chang 等人的評估綜述整理語言模型應評估什麼、在哪裡評估與如何評估 [4]。對處理流程而言,這促使我們分別檢查編碼、任務輸出與應用行為。生成解釋再流暢,也不是設備名稱召回率的另一種量測;兩種輸出回答不同問題。

Zhao 等人的大型語言模型綜述描述了目前的預設做法:在廣泛文字上預訓練一個大型模型,再加以適應(例如指令調整或對齊人類偏好),透過提示使用它,並在許多任務上評估其能力 [17]。它的組織方式呼應第 2 節的歷史:每個時代都沿用前一時代的任務定義,改變的是從文字得到輸出的方式。

對現今系統,可沿用的原則是比較模型家族前先檢查介面。相關文字沒有被截斷,較大的輸入預算才有用;表示能支持任務所需差異(包括使用者同時以兩套中文字集書寫時),多語斷詞器才有用。預訓練表示可能減少所需標註資料,但應用目標仍需要明確監督與評估。後續教學會分析各自機制,而不是把這些當成自動得到的好處。

開放問題包含如何量測超越字元覆蓋的語言覆蓋、切分如何影響不同語言與語域,以及如何區分表示失敗、標籤不足與脈絡缺漏。一個有用的小研究,是在固定任務、獨立切分資料與幾個語言診斷案例下比較兩種編碼。回報各編碼保留或失去什麼,再據此解釋觀察到的錯誤。

重點整理

  • 語言在每個層次都有歧義,從詞邊界到意圖;語境與世界知識能解決字串本身無法決定的部分。
  • NLP 從人工規則走向語料統計,再走向神經網路與預訓練模型;任務定義與評估問題則原封不動地延續下來。
  • 依輸出形式分組任務:文字標籤、token 標籤、結構、檢索證據、生成文字或表示。
  • 中文多了兩個問題:依不同標準進行的斷詞,以及轉換並非一對一的兩套字集。
  • 選模型前,先定義輸出與支持它的語言證據,並區分原始文字與轉換後模型輸入。
  • 預測器無法恢復前處理函數已抹掉的差異;token 與詞彙 ID 是計算單位,不是完整語言分析。
  • 只在允許的訓練文字上擬合學習式表示,切分時把相關觀測放在同組;改架構前,先診斷詞彙、邊界、意思與轉移錯誤。

練習

  1. 對「Pump B was not ready yesterday, but it is ready now」,定義主題分類、歷史狀態擷取與目前狀態擷取的標籤。哪些標籤需要時間處理規則?
提示

設備名稱可以不變,狀態值與有效時間卻不同。先決定回傳一個狀態,還是兩個帶日期事件。

  1. 把正規化範例中的分解重音換成預組合重音。說明哪些位移改變,哪些斷言仍有效。
提示

分別比較原文與正規化字串。位移是某個表示中的位置,不是所有外觀等價字串中的共同位置。

  1. 讓一個前處理規則移除「not」。建構兩則所需狀態標籤不同、轉換輸入卻相同的訊息,證明確定性預測器為什麼不能分開它們。
提示

套用包含 g(r1)g(r_1) 與 g(r2)g(r_2) 的等式。矛盾在訓練前就已出現。

  1. 在字集覆蓋程式中,改用繁體訓練句與其簡體版本的聯集擬合詞彙表,重新計算兩個測試句的 uu。接著解釋為什麼只靠一張字元對照表,不一定能在查詢前把每個簡體測試字轉成繁體。
提示

聯集能消除字集造成的未知字,卻無法消除「那」、「過」、「熱」。關於轉換,請參考 Unihan 的例子:同一個簡體碼位依意思對應到兩個不同的繁體字。

  1. 把同一事件的三則改寫訊息分組,建立訓練/測試資料集。設計切分與兩種診斷,區分事件記憶與對新事件的轉移。
提示

按事件整組切分,再分別檢查未見名稱與未見措辭。標籤規則保持固定。

參考文獻

  1. Masato Hagiwara, Real-World Natural Language Processing: Practical Applications with Deep Learning, Chapters 1–3 and 10–11, Manning, 2021. 出版社
  2. Susan McRoy, Principles of Natural Language Processing, open textbook, 2021. 書籍
  3. Unicode Consortium, “Unicode Normalization Forms,” Unicode Standard Annex #15, revision 58, 2026. 規格
  4. Yupeng Chang et al., “A Survey on Evaluation of Large Language Models,” ACM Transactions on Intelligent Systems and Technology, 2024. 綜述
  5. Scikit-learn developers, “Metrics and Scoring: Quantifying the Quality of Predictions,” documentation, current online edition. 文件
  6. Joseph Weizenbaum, “ELIZA—A Computer Program for the Study of Natural Language Communication Between Man and Machine,” Communications of the ACM, 9(1), pp. 36–45, 1966. DOI
  7. Peter F. Brown, Stephen A. Della Pietra, Vincent J. Della Pietra and Robert L. Mercer, “The Mathematics of Statistical Machine Translation: Parameter Estimation,” Computational Linguistics, 19(2), 1993. 論文
  8. Mitchell P. Marcus, Beatrice Santorini and Mary Ann Marcinkiewicz, “Building a Large Annotated Corpus of English: The Penn Treebank,” Computational Linguistics, 19(2), 1993. 論文
  9. Yoshua Bengio, Réjean Ducharme, Pascal Vincent and Christian Jauvin, “A Neural Probabilistic Language Model,” Journal of Machine Learning Research, 3, pp. 1137–1155, 2003. 論文
  10. Ronan Collobert, Jason Weston, Léon Bottou, Michael Karlen, Koray Kavukcuoglu and Pavel Kuksa, “Natural Language Processing (Almost) from Scratch,” Journal of Machine Learning Research, 12, pp. 2493–2537, 2011. 論文
  11. Tomas Mikolov, Kai Chen, Greg Corrado and Jeffrey Dean, “Efficient Estimation of Word Representations in Vector Space,” arXiv:1301.3781, 2013. 論文
  12. Ashish Vaswani et al., “Attention Is All You Need,” NeurIPS, 2017. 論文
  13. Matthew E. Peters et al., “Deep Contextualized Word Representations,” NAACL-HLT, 2018. 論文
  14. Jacob Devlin, Ming-Wei Chang, Kenton Lee and Kristina Toutanova, “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding,” NAACL-HLT, 2019. 論文
  15. Tom B. Brown et al., “Language Models are Few-Shot Learners,” NeurIPS, 2020. 論文
  16. Long Ouyang et al., “Training Language Models to Follow Instructions with Human Feedback,” NeurIPS, 2022. 論文
  17. Wayne Xin Zhao et al., “A Survey of Large Language Models,” arXiv:2303.18223, 2023 (continuously updated). 綜述
  18. Thomas Emerson, “The Second International Chinese Word Segmentation Bakeoff,” Proceedings of the Fourth SIGHAN Workshop on Chinese Language Processing, 2005. 論文
  19. Unicode Consortium, “Unicode Han Database (Unihan),” Unicode Standard Annex #38, revision 41, 2026. 規格

檢查理解

本篇有 5 題練習。不看提示,你能解出來嗎?

前往練習 ↑

下一篇 NLP 02・語言學基礎 · 34 分鐘