完整搜尋頁面 →

影像生成模型怎麼選:能力、證據與公平的試用

哪一個影像生成系統適合我的交付成果?在投入之前要怎麼測試?

閱讀約 12 分鐘更新於 資料查核於 English

選擇影像系統,先看你要交付什麼影像。一張有說服力的概念草圖、標籤必須保持原樣的產品照,以及文字必須完全正確的示意圖,需要不同的檢查。展示頁中最漂亮的一張圖,不一定回答你的問題。

正文以不隨模型更新而過時的方式,說明能力與評估。具體的產品、模型 ID、開放權重的釋出與評測連結,都在現行選項。本文沒有執行生成實驗,也不提供排名。

重點

  • 先說清楚是哪一種操作:文生圖、指令式編輯、遮罩式局部重繪/向外延展、參考圖引導的生成,或結構控制的生成。系統之間的差異,更多來自操作類型,而不是整體「品質」。
  • 目前多數系統在壓縮的潛在空間中,從雜訊逐步迭代;少數系統生成離散的影像 token。這些機制可以解釋常見的失敗,例如編輯時「應保持不變」的區域發生漂移。
  • 依交付成果對應的能力軸評判系統:指令遵循、文字呈現、編輯保留度、主體一致性、解析度、控制力、速度與成本,以及使用權利。
  • 自動指標與排行榜量測的範圍很窄:FID 比較分布,CLIP 類分數量測文字與影像的一致性,組合式評測計算物件與關係,偏好競技場量測品味。沒有任何一項能替你的用途背書。
  • 用自己的需求與素材做一張小型驗收表,保留失敗的輸出,並比較每份驗收素材的成本。
  • 檢查確切權重檔的授權與託管條款;發布的影像可考慮附上來源出處的中繼資料。

先決定需要哪種操作

操作起點典型用途要檢查什麼
文生圖一段文字描述概念圖、插畫構圖、物件數量、空間關係
指令式編輯一張影像與一道指令「把外套改成紅色」要求的修改,以及所有應保持不變的部分
局部重繪/向外延展影像加遮罩,或更大的畫布移除物件;延伸背景接縫、光線連續性、遮罩邊界
參考圖引導一張或多張參考影像一組作品中一致的角色或產品主體特徵、比例,以及標誌之類的小細節
結構控制草圖、邊緣圖、深度圖或姿態版面必須精確的構圖與控制訊號的吻合度
放大低解析度影像最終交付尺寸憑空產生的細節、紋理瑕疵

名為「參考」的功能,依產品不同,可能指風格引導、保留主體特徵,或是邊界框架;請閱讀它的定義。結構控制是透過 ControlNet 之類的方法普及的:它在凍結的文生圖模型上加入一條可訓練的條件分支,讓邊緣圖、深度圖或姿態能引導版面。[1]

影像生成器如何運作(簡述)

白話版。 多數現代生成器從隨機雜訊開始,在你的文字引導下一步步去除雜訊,直到剩下一張影像。為了節省運算,它們處理的是影像的壓縮版本,最後再解碼。

精確版。 潛在擴散(latent diffusion)先訓練一個自編碼器,把影像映射到較小的潛在格網,再於該潛在空間中訓練去雜訊網路,並透過交叉注意力以文字為條件;生成時,去雜訊器執行若干步,再解碼結果。[2] 許多近期的系統把卷積式去雜訊器換成 Transformer,並以整流流(rectified flow)訓練,這種公式化沿著一條直線連接資料與雜訊。[3] 另一類系統生成離散的影像 token,可逐一生成,也可平行預測被遮罩的 token,例如 Google Research 的 Muse。[4] 有些目前的產品在多模態語言模型的對話中生成並編輯影像,讓多輪編輯變得自然。本站的 ML 08 與 ML 09 深入說明這些機制。

這些機制對選型的意義:

  • 編輯是重新生成。 常見的編輯做法,是對輸入影像加雜訊,再朝新指令去雜訊;加入的雜訊量,是在忠於原圖與自由改動之間取捨。[5] 這就是為什麼「不變」的區域可能漂移,也是為什麼以遮罩為基礎的局部重繪或專用的編輯模型能保留更多。
  • 文字呈現因系統與文字而異。 字母是小而精確的細節,有些釋出版本明確把文字呈現列為訓練重點(見現行選項中的 Qwen-Image)。請用你實際的文字與語言(包含繁體中文),在最終顯示尺寸下測試。
  • 種子不可跨系統沿用。 種子固定的是某個模型、取樣器與解析度的起始雜訊。在另一個系統或另一個版本中使用同一個種子,是不同的實驗。
  • 步數與引導強度也是結果的一部分。 步數較少較快;引導強度(guidance scale)在指令遵循與多樣性、自然度之間取捨(見 ML 08 的無分類器引導)。每個輸出都要一併記錄這些設定。

能力軸與各自的測法

能力軸意義快速測試
指令遵循物件、數量、屬性與空間關係正確「三個紅色杯子在一個藍色碗的左邊」:檢查數量與位置
文字呈現字元、拼字、標點完全正確你真正的標題,用你的語言,在最終尺寸下
編輯保留度只有要求的區域改變編輯一個物件;對其餘部分做差異比對
主體一致性跨影像與跨編輯保持同一主體同一個角色或產品的五個場景
風格範圍與控制能否符合品牌風格或參考圖?同一份需求,用三種指定風格
解析度與長寬比原生尺寸;放大的品質以你的交付尺寸與長寬比生成
速度與成本在你的設定下,每張影像的時間與花費在整個試用中量測,包含失敗的
權利與出處權重授權、託管條款、內容憑證閱讀授權檔與你預定用途的條款

評測與指標能告訴你什麼

白話版。 每個指標只檢查一項狹窄的性質。用它們來建立候選名單,不要用它們做決定。

  • FID(Fréchet Inception Distance) 在預訓練網路的特徵空間中,比較大量生成影像與大量真實影像的統計量。它量測的是分布層級的真實感與多樣性,需要數千個樣本,且無法告訴你某一張影像是否符合它的提示。[6]
  • CLIP 類分數(例如 CLIPScore)用預訓練的影像—文字模型,量測影像與文字之間的一致性;成本低,但與 FID 一樣只給出整體的分數,不適合檢查個別物件、數量或位置。[7, 8]
  • 組合式評測(由偵測器或問答模型評分的物件、數量、屬性與關係檢查)直接針對指令遵循;它們的分數取決於評測版本與評審模型。[8, 9, 10]
  • 人類偏好排行榜依成對投票為系統排名。它們反映整體吸引力,而不是精確的文字、編輯保留度或權利。[11, 12]

ML 08 評估生成模型的小節說明了 FID 及其後繼指標。不論來源為何,都要記錄評測版本、模型 ID、品質設定、解析度、樣本數與評估者,並把供應商自述的主張與獨立比較分開。

做一張小型驗收表

每個候選都使用相同的需求、輸入素材、交付尺寸與預算。

試驗要檢查什麼
有指定物件與位置的簡單場景缺少的物件、空間關係、構圖
包含精確文字的海報拼字、繁體中文字形、標點、可讀性
只限於一個物件的編輯要求的修改,以及其他地方意外的改變
由參考圖引導的一組相關素材主體特徵、風格一致性、有用的變化
以最終格式匯出尺寸、需要時的透明背景、可見的瑕疵

保留失敗的輸出,不只保留最好的樣本。記錄成本、重試、編輯時間,以及每項試驗是否通過。每份驗收素材的成本是全部花費(包含失敗)除以通過驗收的素材數;若沒有替人工修整計價,就另外列出。稍慢但需要較少修補的系統,整體可能更便宜。模型評測指南說明了為什麼少數幾次試驗只能給出粗略的估計。

在本地執行模型

可下載的模型在一條流程(pipeline)中運作:文字編碼器、去雜訊器、影像解碼器,通常還有控制或放大用的額外元件。以節點為基礎的工作流程工具,讓你把這些元件串接起來並儲存整張流程圖,這是記錄一張影像如何產生的最佳方式。工具是工作台,不是模型:換了模型,同一張流程圖能產生的結果就不同;有些工具也提供付費的雲端節點,所以在本地開啟介面,不代表每一步都在本地執行。[13]

要估算整條流程的記憶體,而不只是主要的權重檔:文字編碼器、解碼器、中間張量、輸出解析度與批次大小都算在內。降低精度與在裝置之間搬移元件,是以記憶體換取速度。先從文件記載的設定開始,量測尖峰記憶體與耗時,只有在能解決明確需求時才加入自訂節點,因為它們會帶來可執行的程式碼與相依項。

權利與出處

影像模型和語言模型一樣有分層的條款:程式碼、權重與託管服務各自可能有不同的授權,同一個家族也可能混合寬鬆與非商業條款(見授權的各層)。請檢查確切權重檔的授權,以及它需要的任何額外元件。若你要發布影像,可考慮附上出處中繼資料:C2PA 標準定義了內容憑證(Content Credentials),記錄內容來自何處、如何被編輯。[14]

實際的起步路徑

偶爾製作插畫,可先從託管介面與清楚的需求開始。需要重複生產素材時,測試 API 或可儲存的工作流程。需要本地執行或客製化時,再依硬體與授權需求評估開放權重的釋出版本。若傳統設計工具能提供更可靠的控制,就把精確的文字與版面留在設計工具中處理。靜態影像通過驗收後,再把它們當成動態素材的刻意輸入:接著讀影片生成模型怎麼選。

現行選項,查核日期 2026 年 11 月 6 日

以下是代表性的例子,不是完整清單,也不是排名。每個輸出都要記錄確切的模型 ID 或權重版本:別名、日期快照與產品介面名稱是不同的紀錄。

託管影像系統

家族官方文件中的現行 ID 或版本第一項要做的試驗
OpenAI GPT Image目錄列出 gpt-image-2.6-sunburst(精細作業)與 gpt-image-2.6-flare(快速迭代),以及帶日期快照的 2.5 模型,例如 gpt-image-2.5-sunburst-2026-09-08;gpt-image-1 已於 2026 年 10 月 23 日停止服務 [15, 16, 17]修改一個物件,並保留場景
Google Gemini 影像模型gemini-nano-banana-2.1(Nano Banana 2.1,Nano Banana 2 的更新版)、穩定版的 gemini-3.1-flash-image(Nano Banana 2)與 gemini-3-pro-image [18, 19]一連串對話式編輯;檢查主體特徵是否漂移
Midjourney明確選擇版本;請查看版本頁確認目前的預設版本 [20]依一份需求產生概念;精修其中一張所需的功夫
Adobe Firefly在同一個介面中提供 Adobe 與合作夥伴的模型 [21]在你實際要用的設計流程中完成一份素材
Meta Muse Imagemuse-image-1.0,用於生成與多輪編輯 [22]參考圖引導的編輯;檢查主體特徵與不變的區域
其他有官方模型頁的系統Microsoft MAI-Image-2.6、xAI Grok Imagine Image 2.0、ByteDance Seedream 4.0 [23, 24, 25]同一張驗收表

Firefly 與部分 API 平台會代管合作夥伴的模型;某個產品內可用的模型,不一定由該產品的公司訓練。例如 Runway 的 API 目錄就列出多家公司的影像模型,包含 Seedream 5 的各個變體。[26] 訂閱與 API 存取可能附帶不同的權益。

可下載的權重

釋出版本第一手來源確認的事對選擇的意義
Qwen-Image 與 Qwen-Image-Edit-2509採 Apache-2.0 的生成模型,著重文字呈現;另有獨立的編輯權重 [27, 28]生成與編輯的權重不能互換
FLUX.2 [klein] 4B/9B4B 採 Apache-2.0;9B 為開放權重,但採非商業條款 [29, 30]不要把某一個大小的授權套用到整個家族
Stable Diffusion 3.5 LargeStability AI Community License [31]閱讀其條件;它不是 Apache-2.0
SDXL base 1.0有獨立的模型卡與授權 [32]對照流程所需的 base/refiner 元件
PixArt-Σ XL-2-1024-MS附推論流程的 diffusion Transformer 釋出版本 [33]在你的硬體上量測整條流程
HunyuanImage-3.0Tencent 社群授權;有生成與 Instruct 兩種變體 [34]分清不同的變體
Janus-Pro-7B整合理解與生成的研究釋出版本 [35]把生成與理解分開測試

工作流程工具。 ComfyUI 是廣泛使用的節點式工作台與後端;其儲存庫採 GPL-3.0,並提供選用的付費 API 節點。[13]

兩個不同的「Muse」名稱。 Meta Muse Image 是上面的託管產品線。Google Research 的 Muse(2023)則是遮罩式生成影像 Transformer 的研究方法,可搭配官方的 MaskGIT 實作閱讀;它不是可呼叫的 Google Muse API 或可下載權重的證據。[4, 36]

評測入口

資源有用的證據比較之前要檢查
GenEval/GenEval 2 [8, 9]物件、計數、屬性與關係評測版本、評審、各項技能的結果
T2I-CompBench/++ [10]組合式的屬性與關係版本、類別、評估模型
DPG-Bench [37]透過問答檢查密集提示的對齊提示集、取樣、評估者
Arena 文生圖排行榜 [11]成對偏好排名模型變體、日期、票數與不確定性
Artificial Analysis 影像模型與方法 [12]偏好品質、價格、生成時間生成或編輯、供應商、設定

延伸閱讀

參考文獻

除另有註明外,查核日期為 2026 年 11 月 6 日:

  1. Lvmin Zhang, Anyi Rao and Maneesh Agrawala, “Adding Conditional Control to Text-to-Image Diffusion Models,” ICCV, 2023. Paper.
  2. Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser and Björn Ommer, “High-Resolution Image Synthesis With Latent Diffusion Models,” CVPR, 2022. Paper.
  3. Patrick Esser et al., “Scaling Rectified Flow Transformers for High-Resolution Image Synthesis,” ICML (PMLR 235), 2024. Paper.
  4. Huiwen Chang et al., “Muse: Text-To-Image Generation via Masked Generative Transformers,” arXiv, 2023. Project, paper.
  5. Chenlin Meng et al., “SDEdit: Guided Image Synthesis and Editing with Stochastic Differential Equations,” arXiv:2108.01073, 2021. Paper.
  6. Martin Heusel et al., “GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium,” NeurIPS, 2017 (introduces FID). Paper.
  7. Jack Hessel et al., “CLIPScore: A Reference-free Evaluation Metric for Image Captioning,” EMNLP, 2021. Paper.
  8. Dhruba Ghosh, Hanna Hajishirzi and Ludwig Schmidt, “GenEval: An Object-Focused Framework for Evaluating Text-to-Image Alignment,” 2023. Paper, evaluation code.
  9. A. Kamath et al., “GenEval 2: Addressing Benchmark Drift in Text-to-Image Evaluation,” 2025. Official data and evaluation.
  10. K. Huang et al., “T2I-CompBench: A Comprehensive Benchmark for Open-world Compositional Text-to-image Generation,” NeurIPS, 2023. Benchmark and ++ release.
  11. Arena, “Text-to-Image Leaderboard,” live resource. Leaderboard.
  12. Artificial Analysis, “Image Model Comparisons” and “Image Generation Benchmarking Methodology.” Comparisons, methodology.
  13. ComfyUI contributors, “ComfyUI.” Repository and license.
  14. Coalition for Content Provenance and Authenticity (C2PA), “C2PA Specifications.” Overview, specification 2.2.
  15. OpenAI, “Image generation.” API guide.
  16. OpenAI, “Models” and “Create image” API reference. Catalog, GPT-Image-2.6 Sunburst, supported model IDs and snapshots.
  17. OpenAI, “Deprecations.” Shutdown schedule.
  18. Google, “Gemini Nano Banana 2.1,” developer documentation. Model page.
  19. Google, “Gemini API models” and “Gemini 3.1 Flash Image.” Catalog, Gemini 3.1 Flash Image, deprecations.
  20. Midjourney, “Version.” Version documentation.
  21. Adobe, “Adobe Firefly.” Product and partner models.
  22. Meta, “Muse Image,” 2026. Model IDs, image-generation guide, announcement.
  23. Microsoft AI, “MAI-Image-2.6.” Model page.
  24. xAI, “Grok Imagine Image 2.0,” API documentation. Model ID and capabilities.
  25. ByteDance Seed, “Seedream 4.0,” official model page. Release and access.
  26. Runway, “Available AI Models,” API documentation. Model catalog.
  27. Qwen team, “Qwen-Image,” 2025. Model card.
  28. Qwen team, “Qwen-Image-Edit-2509,” 2025. Model card.
  29. Black Forest Labs, “How does FLUX licensing work?” License overview.
  30. Black Forest Labs, “FLUX.2 [klein],” 2026. 4B model card, 9B model card.
  31. Stability AI, “Stable Diffusion 3.5 Large,” 2024. Model card and license.
  32. Stability AI, “Stable Diffusion XL base 1.0,” 2023. Model card.
  33. PixArt team, “PixArt-Sigma-XL-2-1024-MS,” 2024. Model card.
  34. Tencent Hunyuan, “HunyuanImage-3.0,” 2025. Model card.
  35. DeepSeek-AI, “Janus-Pro-7B,” 2025. Model card.
  36. Google Research, “MaskGIT,” official implementation, 2022. Code and paper links.
  37. TencentQQGYLab, “ELLA — DPG-Bench,” 2024. Prompts and evaluation instructions.
  • #image-generation
  • #models
  • #tools
  • #evaluation