完整搜尋頁面 →

模型怎麼選:看懂評測、授權與證據

如何解讀關於模型的證據,並為我的任務選出一個模型?

閱讀約 13 分鐘更新於 資料查核於 English

模型只是一個可運作系統的元件。排行榜能幫你縮小候選名單,但你的工具、指令、資料與驗收條件,才決定候選模型是否有用。這份指南教你如何解讀證據:評測分數究竟量測什麼、為什麼可能誤導、能信任到什麼程度,以及你選的模型讓你可以做什麼。

正文的寫法盡量不隨模型更新而過時。目前的模型名稱、版本連結、評測入口,以及值得閱讀的組織與人物清單,都在現行選項。如果你是為 agent 挑模型,建議先讀選擇 agent 工具。

重點

  • 你選的從來不是「一個模型」,而是一個具體的產物:API 背後固定版本的託管模型,或是搭配特定執行環境與精度的某個權重檔。
  • 「開放」要分別檢查程式碼、權重、託管服務與訓練資料。模型可以是開放權重,卻不是開源。
  • 評測分數是任務集、harness、評分器與彙整規則的輸出。任何一項改變,數字就會改變。
  • 公開測試集會洩漏到訓練資料中。優先採用新題、有時間戳記或私有任務的證據。
  • 小規模評估雜訊很大:30 題解對 21 題,與大約 52% 到 83% 之間的任何真實成功率都相容。
  • 「k 次嘗試中解出一次」(pass@k)與「k 次嘗試全部解出」(pass^k)回答相反的問題;無人值守的 agent 需要的是後者。
  • 最終決定時,你自己的小型固定評估集勝過任何排行榜。

你實際選的是什麼

排行榜上的模型名稱只是家族標籤。你的系統實際呼叫的東西更具體:

  • 託管版本。 供應商透過識別碼提供模型。有些識別碼是別名,會隨時間指向較新的快照;有些是固定快照,在退役之前行為不應改變。請記錄 API 回報的識別碼,而不只是你請求的那個,並留意供應商的退役日期。
  • 可下載的權重檔。 儲存庫版本、檔案格式、精度或量化、對話樣板,以及服務用的執行環境,共同決定行為。4 位元轉換版與原始 16 位元釋出版是不同的實驗。
  • 系統設定。 推理強度設定、工具定義、重試政策與 token 預算,對結果的影響不亞於模型的選擇。一項評測若只用某一種 agent 骨架回報模型成績,就很難說明同一個模型換成別的骨架會如何。

「開放」是每一層各自的性質

由上而下堆疊的四層:託管服務、模型權重、程式碼、訓練資料,每一層都附上該問的問題。
圖 1 — 原創教學圖。每一層可能有不同的條款;檢查了其中一層,並不能回答其他層。

白話版。「開放模型」這個說法含糊不清。要問的是:到底什麼是開放的、可以用在什麼用途。

精確版。 四層各有各的條款:

  1. 程式碼。 推論與訓練程式碼,以及用戶端工具,都是軟體。開放原始碼定義(Open Source Definition)規定了開源授權的準則,例如可自由再散布、可取得原始碼、允許衍生作品,以及不得歧視特定領域的使用。Apache-2.0 與 MIT 是常見的例子。[1]
  2. 權重。 模型參數依各自的授權散布,可能是標準的寬鬆授權、附帶條件的自訂「社群」授權(例如限制用途或超大規模部署),或是非商業授權。同一個家族可以混用:某個大小採寬鬆授權,另一個則是非商業。[2]
  3. 託管服務。 當你呼叫 API 時,供應商的條款決定資料保留、輸入的使用方式、速率限制與區域,與任何權重授權無關。
  4. 訓練資料。 往往只有部分文件說明。開放原始碼促進會(Open Source Initiative)的 Open Source AI Definition 1.0 除了程式碼與參數之外,還要求提供足夠詳細的資料資訊,讓具備技能的人能建立出實質相當的系統;大多數「開放權重」的釋出都達不到這個標準。[3]

因此開放權重(你可以在某種授權下下載並執行參數)不等於 OSI 定義下的開源。請閱讀附在確切權重檔上的授權檔,以及說明預期用途與限制的模型卡。[2, 4]

評測如何產生一個數字

白話版。 評測就像一場考試:一組題目、作答規則、批改答案的方式,以及加總分數的方式。這些選擇每一項都會影響分數。

精確版。 每個回報的分數,都是五個組成部分的輸出:

組成部分是什麼什麼會改變數字
任務集題目,連同版本或日期區間不同切分、較新的釋出、被移除或修正的題目
Harness模型如何被提示、拿到哪些工具與骨架、可以走幾步Agent 框架、工具呼叫模式、步數與 token 上限
取樣溫度、推理強度、嘗試次數更多次嘗試或更多思考,會提高成功率,也提高成本
評分器單元測試、完全比對、人工投票,或擔任評審的模型比對寬鬆或嚴格;評審偏好較長或特定風格的回答
彙整各任務平均、pass@k、Elo 式評分、加權指數各類別的權重;平手與失敗如何計算

評測的種類也不同:

種類如何評分範例(見現行選項)它無法證明什麼
靜態、以測試為基礎隱藏測試通過或失敗SWE-bench:修補必須通過儲存庫測試 [5]測試以外的程式碼品質;在你的儲存庫中的表現
即時、限定時間區間某個日期之後才公開的題目LiveCodeBench 蒐集附有發布日期的新競賽題 [6]不同日期區間的結果無法比較
Agent 環境互動環境的最終狀態終端機與工具使用套件脫離骨架、屬於模型本身的能力
成對偏好人從兩個輸出中選較好的Arena 式排行榜事實正確性;在你的工作流程中是否成功
彙整指數許多評估的加權組合商業與學術指數,例如 HELM永久有效的排名:組成與權重會改變

引用數字之前,先寫下測試套件與版本、harness 及其版本、模型識別碼、取樣設定與嘗試次數。只要其中任何一項不同,兩個數字就不能直接比較。

資料污染:考題外洩的時候

白話版。 如果模型在訓練時看過考題,高分量測的可能是記憶,而不是能力。

精確版。 大型模型以網路規模的資料訓練,公開評測的題目或其近似改寫,可能混進這些資料。這種影響是可以量測的。研究者針對一個流行的公開小學數學題集,寫了一組風格與難度都相符的新題;部分模型家族在新題集上的分數低了最多 8 個百分點,而且差距與各模型重現公開題集題目的可能性相關;不過許多前沿模型幾乎沒有過擬合的跡象。[7] LiveCodeBench 的做法是為每道題標上時間戳記,並只用在模型訓練截止日之後公開的題目來評估。[6] 本站 ML 10 中關於污染的小節說明了背後的概念。

實務上的結論:

  • 優先採用限定時間區間、定期更新或私有任務的結果。
  • 如果一個模型在舊的公開評測上遠強於測同一項技能的新評測,要保持懷疑。
  • 把自己的評估集保密,不要貼到可能用輸入來訓練的託管工具中。

一個數字能信任到什麼程度

白話版。 只有幾十題的分數只是粗略的估計。兩個模型在小題集上差幾分,可能根本沒有差別。

精確版。 若系統在 nn 個獨立任務中解出 ss 個,觀察到的比率是 p^=s/n\hat p = s/n。它的取樣不確定性只隨 nn 的平方根縮小。Wilson 分數區間(Wilson score interval)即使在 nn 很小時,也是表現良好的 p^\hat p 的近似 95% 區間:[39]

p^+z22n±zp^(1−p^)n+z24n21+z2n\frac{\hat p + \frac{z^2}{2n} \pm z\sqrt{\frac{\hat p(1-\hat p)}{n} + \frac{z^2}{4n^2}}}{1 + \frac{z^2}{n}}

其中 p^\hat p 是觀察到的成功率,nn 是任務數,z=1.96z = 1.96 對應 95% 的涵蓋率。評估方法論的論文也針對語言模型評測提出同樣的看法,並給出在相同題目上比較兩個模型的公式。[8]

重複嘗試。 Agent 具有隨機性,所以每個任務要跑好幾次。有兩種彙整方式,回答相反的問題。某個任務嘗試 nn 次,其中 cc 次通過:

pass@k=1−(n−ck)(nk),passk=(ck)(nk)\text{pass@}k = 1 - \frac{\binom{n-c}{k}}{\binom{n}{k}}, \qquad \text{pass}^k = \frac{\binom{c}{k}}{\binom{n}{k}}

其中 pass@kk 估計 kk 次嘗試中至少一次通過的機率(最初為程式碼生成提出 [9]),passk^k 估計 kk 次嘗試全部通過的機率(最初為衡量 agent 可靠性而提出 [10])。兩者都對各任務取平均。

程式碼 · Python · 27 行
from math import comb, sqrt


def pass_at_k(n, c, k):
    """Unbiased estimate of P(at least one of k attempts passes), from n attempts with c passes."""
    return 1.0 if n - c < k else 1 - comb(n - c, k) / comb(n, k)


def pass_hat_k(n, c, k):
    """Estimate of P(all k attempts pass), from the same n attempts."""
    return comb(c, k) / comb(n, k)


def wilson(successes, trials, z=1.96):
    """Approximate 95% interval for a success rate (Wilson score interval)."""
    p = successes / trials
    centre = (p + z * z / (2 * trials)) / (1 + z * z / trials)
    half = z * sqrt(p * (1 - p) / trials + z * z / (4 * trials * trials)) / (1 + z * z / trials)
    return centre - half, centre + half


n, c = 10, 7  # one task, ten attempts, seven passed
for k in (1, 3, 5):
    print(f"k={k}: pass@k={pass_at_k(n, c, k):.3f}  pass^k={pass_hat_k(n, c, k):.3f}")
for solved, total in ((21, 30), (210, 300)):
    lo, hi = wilson(solved, total)
    print(f"{solved}/{total} tasks: {solved / total:.0%} solved, 95% interval {lo:.0%} to {hi:.0%}")
程式碼 · 5 行
k=1: pass@k=0.700  pass^k=0.700
k=3: pass@k=0.992  pass^k=0.292
k=5: pass@k=1.000  pass^k=0.083
21/30 tasks: 70% solved, 95% interval 52% to 83%
210/300 tasks: 70% solved, 95% interval 65% to 75%
兩個圖框:在單次嘗試成功率為 0.5、0.7 與 0.9 時,pass@k 隨 k 增加而趨近 1;pass^k 則趨近 0。
圖 2 — 由獨立嘗試的封閉式 1−(1−p)^k 與 p^k 計算而得。單次成功率 70%,以 pass@3 來看很出色,以 pass^3 來看卻很差。

當由人從多份草稿中挑出最好的一份時,用 pass@kk;當系統必須每次都在無人值守下運作時,用 passk^k(或直接用單次執行的成功率與其區間)。

有助於維運系統的指標

任務成功率是通過驗收測試的嘗試比例,而驗收測試要在讀到任何輸出之前就寫好。要包含各種限制,例如保留無關檔案,或回傳可用的引文。

每個驗收成果的成本是全部花費(包含失敗的嘗試與重試)除以通過驗收的輸出數。人工審查時間另外回報,或用明確的規則計入。若沒有任何輸出通過,就如實報告,而不是給出無限大或誤導性的成本。

延遲需要先界定範圍:首個 token 的時間說明輸出何時開始;端到端時間說明可驗收的成果何時就緒。請回報多次執行下的典型值與慢尾端的值,而不是最佳的展示。

可靠度是單次執行的成功率及其區間,或如上所述的 passk^k。

自己執行模型:記憶體估算

參數量並不是記憶體預算。在 GPU 上有兩項占大宗:權重,大約是參數量乘以每個參數的位元組數;以及鍵值(KV)快取,它為每個進行中序列的每個 token 儲存注意力的鍵與值:

MKV=2⋅L⋅Hkv⋅dhead⋅T⋅S⋅bM_{\text{KV}} = 2 \cdot L \cdot H_{\text{kv}} \cdot d_{\text{head}} \cdot T \cdot S \cdot b

其中 LL 是層數,HkvH_{\text{kv}} 是鍵值頭的數量,dheadd_{\text{head}} 是每個頭的維度,TT 是每個序列的 token 數,SS 是同時處理的序列數,bb 是每個儲存值的位元組數,係數 2 則分別計入鍵與值。KV 快取的記憶體隨情境長度與併發量增長,這也是服務系統要仔細管理它的原因。[11] 以一個假想的 80 億參數模型(32 層、8 個 KV 頭、頭維度 128)為例:

程式碼 · Python · 18 行
GiB = 2**30
# Assumed architecture of a hypothetical 8-billion-parameter decoder.
params, layers, kv_heads, head_dim = 8e9, 32, 8, 128


def weights_gib(bits):
    return params * bits / 8 / GiB


def kv_cache_gib(tokens, sequences, bits=16):
    # 2 tensors (keys and values) per layer, per KV head, per token.
    return 2 * layers * kv_heads * head_dim * tokens * sequences * bits / 8 / GiB


for bits in (16, 4):
    print(f"weights at {bits:>2}-bit: {weights_gib(bits):5.1f} GiB")
for tokens, seqs in ((8_000, 1), (32_000, 1), (32_000, 8)):
    print(f"KV cache, {tokens:,} tokens x {seqs} sequence(s): {kv_cache_gib(tokens, seqs):5.1f} GiB")
程式碼 · 5 行
weights at 16-bit:  14.9 GiB
weights at  4-bit:   3.7 GiB
KV cache, 8,000 tokens x 1 sequence(s):   1.0 GiB
KV cache, 32,000 tokens x 1 sequence(s):   3.9 GiB
KV cache, 32,000 tokens x 8 sequence(s):  31.2 GiB

把權重量化會縮小第一項;長情境與大量同時使用者會讓第二項增長,甚至超過權重。執行環境的額外開銷與激活值(activation)還會再增加用量。請在你的硬體上,以預定的情境長度與併發量實際量測;能載入的模型,仍可能慢到無法互動使用。ML 11 說明了量化本身。

建立你自己的評估

  1. 蒐集 20–50 個真實任務,並附上已知的檢查方式:一般工作、模糊的要求、缺少的相依項、工具故障,以及幾個困難案例。
  2. 先寫驗收測試。 優先採用可執行的檢查;需要評分規準時,保持簡短,並以人工判斷校準任何由模型擔任的評審。
  3. 固定流程: 提示、工具、預算、重試政策、嘗試次數,以及確切的模型識別碼。
  4. 執行後,要讀失敗案例,而不只看分數。失敗類別會告訴你該改什麼。
  5. 回報不確定性。 若兩個候選的區間大幅重疊,就依成本、延遲、資料條款或維運適配度來決定,而不要硬宣布贏家。
  6. 每次更換模型或提示後,重跑同一組題目。 把用來調整的案例與用來評判的案例分開。

先透過你理解的工具使用一個託管模型。當本地執行、客製化、資料所在位置或服務經濟性帶來具體理由時,再試開放權重的替代方案,並在工作負載改變時重新檢視這個決定。視覺類的工作,請接著讀影像生成模型選擇或影片生成模型選擇。

現行選項,查核日期 2026 年 11 月 6 日

這些清單是指出值得調查的產物。它們不求完整,不是排名,也不是重現的評測結果。供應商經常更名、新增與退役模型;依賴某一列之前,請先打開目錄確認。

託管模型家族與版本頁面

供應商官方目錄中的現行模型要檢查什麼
OpenAIGPT-6 Astra、GPT-6.1 Sol、GPT-6.1 Terra、GPT-6 Luna [12]推理強度、工具支援、延遲與整項任務成本
AnthropicClaude Fable 5.1、Opus 5.5、Sonnet 5.5、Haiku 5.5 [13]模型 ID 是固定快照;推理強度設定;各平台專屬的 ID
GoogleGemini 4 Argon(gemini-4-argon,穩定版)、Gemini 3.8 Flash、3.6 Flash、3.5 Flash-Lite [14]穩定、新版或預覽狀態;會被改導向的已棄用 ID
Metamuse-spark-1.3 與 muse-wonder-1.0(預覽) [15]API 模型與 Muse 應用程式、Muse Code agent 的差別;Standard 與 Contributor 資料使用模式
xAIGrok 4.7(grok-4.7)與模型目錄 [16]需要即時資訊時,另外啟用搜尋並編列預算

本次修訂新增:Google 的目錄將 gemini-4-argon 列為穩定的旗艦推理模型。[14]

Meta 的名稱需要確認存取方式。 Muse 是面向消費者的 agent,Muse Code 是終端機程式開發 agent。Muse Wonder Full 只在符合條件的訂閱下,於 Muse Code 中提供,不透過 Model API;Muse Spark Open 與 Muse Glimmer 是開放權重的釋出,沒有 Model API 的 ID。[15, 17, 18, 19]

可下載的權重檔

家族權重檔或下載頁面要檢查什麼
OpenAI gpt-oss官方儲存庫(Apache-2.0)[20]釋出的權重檔、推理格式、服務執行環境
Meta MuseMuse-Spark-Open-816B-A42B、Muse-Glimmer-30B [18, 19]自行託管或由供應商託管;不是 Meta Model API 的名稱
QwenQwen3.8-27B、Qwen3.8-Flash-Next、Qwen3.8-2.4T-A95B [21]這些模型卡列出不同的授權;同一個家族名稱不代表條款相同
DeepSeekDeepSeek-V4.1-Flash-1017 [22]帶日期的權重版本、精度、工具解析器、推論設定
Google Gemmagemma-4-31B-it [23]指令微調版本及其條款
Mistral AIMistral-Small-4-119B-2603 [24]該版本專屬的部署與工具使用說明
Moonshot AIKimi-K2.5 [25]預期搭配的 agent harness 與思考設定
Z.aiGLM-5 [26]官方的對話樣板與服務說明

評測入口

資源它問的問題引用任何結果時要一併記錄
SWE-bench 排行榜與 Verified 資料集 [5, 27]生成的修補能否通過儲存庫的測試?資料集切分、agent 骨架及其版本
Terminal-Bench(網站回報版本 4.0)與任務目錄 [28, 29]Agent 能否完成可執行的終端機任務?評測版本、agent、預算
LiveCodeBench [6]模型能否解出所選時間區間的競賽題?日期區間與取樣設定
Berkeley Function-Calling Leaderboard V4 [30]模型能否依該套件的規則選擇並組成工具呼叫?原生與提示式函式呼叫
Arena [31, 32]抽樣投票者偏好哪個回答?Agent Mode 採用不同的設計。排行榜類別與日期
HELM [33]模型在許多情境與指標上的表現如何?情境集與釋出版本
Artificial Analysis 與方法 [34]模型在指定的品質、速度與價格量測上如何比較?指數與方法版本、推理強度設定

值得追蹤的組織與人物。 這個領域是由團隊建立的;以下是通往不同工作脈絡的入口,不是功勞的排名。Dario Amodei 與 Daniela Amodei(Anthropic 領導團隊)[35];Demis Hassabis(Google DeepMind)[36];Andrej Karpathy,以神經網路與語言模型實作的實用講解聞名 [37];Fei-Fei Li,專長視覺辨識、ImageNet 與空間智慧(Stanford HAI)[38]。除了訪談,也請閱讀他們的技術著作與實際的產物;知名度不能替不相關的產品主張背書。

延伸閱讀

參考文獻

第一手文件、論文與模型卡,除另有註明外,查核日期為 2026 年 11 月 6 日:

  1. Open Source Initiative, “The Open Source Definition.” Definition.
  2. Black Forest Labs, “How does FLUX licensing work?” (an example of different licenses within one model family). License overview.
  3. Open Source Initiative, “The Open Source AI Definition 1.0.” Definition.
  4. Hugging Face, “Model Cards,” Hub documentation. Documentation.
  5. Carlos E. Jimenez et al., “SWE-bench: Can Language Models Resolve Real-World GitHub Issues?,” ICLR, 2024. Paper, evaluation harness.
  6. Naman Jain et al., “LiveCodeBench: Holistic and Contamination Free Evaluation of Large Language Models for Code,” arXiv:2403.07974, 2024. Paper, project, leaderboard.
  7. Hugh Zhang et al., “A Careful Examination of Large Language Model Performance on Grade School Arithmetic,” NeurIPS Datasets and Benchmarks Track, 2024. Paper.
  8. Evan Miller, “Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations,” arXiv:2411.00640, 2024. Paper.
  9. Mark Chen et al., “Evaluating Large Language Models Trained on Code,” arXiv:2107.03374, 2021. Paper.
  10. Shunyu Yao, Noah Shinn, Pedram Razavi and Karthik Narasimhan, “τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains,” arXiv:2406.12045, 2024. Paper.
  11. Woosuk Kwon et al., “Efficient Memory Management for Large Language Model Serving with PagedAttention,” SOSP, 2023. DOI, preprint.
  12. OpenAI, “Models.” Model catalog.
  13. Anthropic, “Models overview.” Model IDs and platform comparison.
  14. Google, “Gemini API models.” Model catalog, Gemini 4 Argon.
  15. Meta, “Models,” Meta Model API. Model identifiers and access.
  16. xAI, “Grok 4.7 Developer Guide” and “Models.” Grok 4.7, catalog.
  17. Meta, “Introducing Muse: The World’s First Personal AI Agent Built for Everyone,” 2026. Announcement.
  18. Meta, “Muse Spark Open: Get the model.” Released checkpoints.
  19. Meta, “Muse Glimmer: Get the model.” Released weight variants.
  20. OpenAI, “gpt-oss.” Repository and license.
  21. Qwen team, “Qwen3.8.” Official release collection.
  22. DeepSeek-AI, “DeepSeek-V4.1-Flash-1017.” Model card.
  23. Google, “gemma-4-31B-it.” Model card.
  24. Mistral AI, “Mistral-Small-4-119B-2603.” Model card.
  25. Moonshot AI, “Kimi-K2.5.” Model card.
  26. Z.ai, “GLM-5.” Model card.
  27. SWE-bench maintainers, “Official Leaderboards” and “SWE-bench Verified.” Results, dataset card.
  28. Terminal-Bench maintainers, benchmark and leaderboard. Official site.
  29. Harbor, “Dataset registry.” Versioned benchmark tasks.
  30. Berkeley Function-Calling Leaderboard maintainers, “BFCL V4.” Leaderboard.
  31. Arena, “Frequently asked questions.” Methodology.
  32. Arena, “How to use Agent Mode.” Evaluation design.
  33. Stanford CRFM, “Holistic Evaluation of Language Models (HELM).” Framework.
  34. Artificial Analysis, “AI Model & API Providers Analysis” and “Methodology.” Comparisons, methodology.
  35. Anthropic, “Leadership.” Official biographies.
  36. Google DeepMind, “About.” Organization.
  37. Andrej Karpathy, personal website. Teaching and projects.
  38. Stanford HAI, “Fei-Fei Li.” Profile.
  39. Edwin B. Wilson, “Probable Inference, the Law of Succession, and Statistical Inference,” Journal of the American Statistical Association, 22(158), 209–212, 1927. DOI.
  • #models
  • #benchmarks
  • #evaluation
  • #licensing