影像生成模型怎麼選:能力、證據與公平的試用
哪一個影像生成系統適合我的交付成果?在投入之前要怎麼測試?
選擇影像系統,先看你要交付什麼影像。一張有說服力的概念草圖、標籤必須保持原樣的產品照,以及文字必須完全正確的示意圖,需要不同的檢查。展示頁中最漂亮的一張圖,不一定回答你的問題。
正文以不隨模型更新而過時的方式,說明能力與評估。具體的產品、模型 ID、開放權重的釋出與評測連結,都在現行選項。本文沒有執行生成實驗,也不提供排名。
重點
- 先說清楚是哪一種操作:文生圖、指令式編輯、遮罩式局部重繪/向外延展、參考圖引導的生成,或結構控制的生成。系統之間的差異,更多來自操作類型,而不是整體「品質」。
- 目前多數系統在壓縮的潛在空間中,從雜訊逐步迭代;少數系統生成離散的影像 token。這些機制可以解釋常見的失敗,例如編輯時「應保持不變」的區域發生漂移。
- 依交付成果對應的能力軸評判系統:指令遵循、文字呈現、編輯保留度、主體一致性、解析度、控制力、速度與成本,以及使用權利。
- 自動指標與排行榜量測的範圍很窄:FID 比較分布,CLIP 類分數量測文字與影像的一致性,組合式評測計算物件與關係,偏好競技場量測品味。沒有任何一項能替你的用途背書。
- 用自己的需求與素材做一張小型驗收表,保留失敗的輸出,並比較每份驗收素材的成本。
- 檢查確切權重檔的授權與託管條款;發布的影像可考慮附上來源出處的中繼資料。
先決定需要哪種操作
| 操作 | 起點 | 典型用途 | 要檢查什麼 |
|---|---|---|---|
| 文生圖 | 一段文字描述 | 概念圖、插畫 | 構圖、物件數量、空間關係 |
| 指令式編輯 | 一張影像與一道指令 | 「把外套改成紅色」 | 要求的修改,以及所有應保持不變的部分 |
| 局部重繪/向外延展 | 影像加遮罩,或更大的畫布 | 移除物件;延伸背景 | 接縫、光線連續性、遮罩邊界 |
| 參考圖引導 | 一張或多張參考影像 | 一組作品中一致的角色或產品 | 主體特徵、比例,以及標誌之類的小細節 |
| 結構控制 | 草圖、邊緣圖、深度圖或姿態 | 版面必須精確的構圖 | 與控制訊號的吻合度 |
| 放大 | 低解析度影像 | 最終交付尺寸 | 憑空產生的細節、紋理瑕疵 |
名為「參考」的功能,依產品不同,可能指風格引導、保留主體特徵,或是邊界框架;請閱讀它的定義。結構控制是透過 ControlNet 之類的方法普及的:它在凍結的文生圖模型上加入一條可訓練的條件分支,讓邊緣圖、深度圖或姿態能引導版面。[1]
影像生成器如何運作(簡述)
白話版。 多數現代生成器從隨機雜訊開始,在你的文字引導下一步步去除雜訊,直到剩下一張影像。為了節省運算,它們處理的是影像的壓縮版本,最後再解碼。
精確版。 潛在擴散(latent diffusion)先訓練一個自編碼器,把影像映射到較小的潛在格網,再於該潛在空間中訓練去雜訊網路,並透過交叉注意力以文字為條件;生成時,去雜訊器執行若干步,再解碼結果。[2] 許多近期的系統把卷積式去雜訊器換成 Transformer,並以整流流(rectified flow)訓練,這種公式化沿著一條直線連接資料與雜訊。[3] 另一類系統生成離散的影像 token,可逐一生成,也可平行預測被遮罩的 token,例如 Google Research 的 Muse。[4] 有些目前的產品在多模態語言模型的對話中生成並編輯影像,讓多輪編輯變得自然。本站的 ML 08 與 ML 09 深入說明這些機制。
這些機制對選型的意義:
- 編輯是重新生成。 常見的編輯做法,是對輸入影像加雜訊,再朝新指令去雜訊;加入的雜訊量,是在忠於原圖與自由改動之間取捨。[5] 這就是為什麼「不變」的區域可能漂移,也是為什麼以遮罩為基礎的局部重繪或專用的編輯模型能保留更多。
- 文字呈現因系統與文字而異。 字母是小而精確的細節,有些釋出版本明確把文字呈現列為訓練重點(見現行選項中的 Qwen-Image)。請用你實際的文字與語言(包含繁體中文),在最終顯示尺寸下測試。
- 種子不可跨系統沿用。 種子固定的是某個模型、取樣器與解析度的起始雜訊。在另一個系統或另一個版本中使用同一個種子,是不同的實驗。
- 步數與引導強度也是結果的一部分。 步數較少較快;引導強度(guidance scale)在指令遵循與多樣性、自然度之間取捨(見 ML 08 的無分類器引導)。每個輸出都要一併記錄這些設定。
能力軸與各自的測法
| 能力軸 | 意義 | 快速測試 |
|---|---|---|
| 指令遵循 | 物件、數量、屬性與空間關係正確 | 「三個紅色杯子在一個藍色碗的左邊」:檢查數量與位置 |
| 文字呈現 | 字元、拼字、標點完全正確 | 你真正的標題,用你的語言,在最終尺寸下 |
| 編輯保留度 | 只有要求的區域改變 | 編輯一個物件;對其餘部分做差異比對 |
| 主體一致性 | 跨影像與跨編輯保持同一主體 | 同一個角色或產品的五個場景 |
| 風格範圍與控制 | 能否符合品牌風格或參考圖? | 同一份需求,用三種指定風格 |
| 解析度與長寬比 | 原生尺寸;放大的品質 | 以你的交付尺寸與長寬比生成 |
| 速度與成本 | 在你的設定下,每張影像的時間與花費 | 在整個試用中量測,包含失敗的 |
| 權利與出處 | 權重授權、託管條款、內容憑證 | 閱讀授權檔與你預定用途的條款 |
評測與指標能告訴你什麼
白話版。 每個指標只檢查一項狹窄的性質。用它們來建立候選名單,不要用它們做決定。
- FID(Fréchet Inception Distance) 在預訓練網路的特徵空間中,比較大量生成影像與大量真實影像的統計量。它量測的是分布層級的真實感與多樣性,需要數千個樣本,且無法告訴你某一張影像是否符合它的提示。[6]
- CLIP 類分數(例如 CLIPScore)用預訓練的影像—文字模型,量測影像與文字之間的一致性;成本低,但與 FID 一樣只給出整體的分數,不適合檢查個別物件、數量或位置。[7, 8]
- 組合式評測(由偵測器或問答模型評分的物件、數量、屬性與關係檢查)直接針對指令遵循;它們的分數取決於評測版本與評審模型。[8, 9, 10]
- 人類偏好排行榜依成對投票為系統排名。它們反映整體吸引力,而不是精確的文字、編輯保留度或權利。[11, 12]
ML 08 評估生成模型的小節說明了 FID 及其後繼指標。不論來源為何,都要記錄評測版本、模型 ID、品質設定、解析度、樣本數與評估者,並把供應商自述的主張與獨立比較分開。
做一張小型驗收表
每個候選都使用相同的需求、輸入素材、交付尺寸與預算。
| 試驗 | 要檢查什麼 |
|---|---|
| 有指定物件與位置的簡單場景 | 缺少的物件、空間關係、構圖 |
| 包含精確文字的海報 | 拼字、繁體中文字形、標點、可讀性 |
| 只限於一個物件的編輯 | 要求的修改,以及其他地方意外的改變 |
| 由參考圖引導的一組相關素材 | 主體特徵、風格一致性、有用的變化 |
| 以最終格式匯出 | 尺寸、需要時的透明背景、可見的瑕疵 |
保留失敗的輸出,不只保留最好的樣本。記錄成本、重試、編輯時間,以及每項試驗是否通過。每份驗收素材的成本是全部花費(包含失敗)除以通過驗收的素材數;若沒有替人工修整計價,就另外列出。稍慢但需要較少修補的系統,整體可能更便宜。模型評測指南說明了為什麼少數幾次試驗只能給出粗略的估計。
在本地執行模型
可下載的模型在一條流程(pipeline)中運作:文字編碼器、去雜訊器、影像解碼器,通常還有控制或放大用的額外元件。以節點為基礎的工作流程工具,讓你把這些元件串接起來並儲存整張流程圖,這是記錄一張影像如何產生的最佳方式。工具是工作台,不是模型:換了模型,同一張流程圖能產生的結果就不同;有些工具也提供付費的雲端節點,所以在本地開啟介面,不代表每一步都在本地執行。[13]
要估算整條流程的記憶體,而不只是主要的權重檔:文字編碼器、解碼器、中間張量、輸出解析度與批次大小都算在內。降低精度與在裝置之間搬移元件,是以記憶體換取速度。先從文件記載的設定開始,量測尖峰記憶體與耗時,只有在能解決明確需求時才加入自訂節點,因為它們會帶來可執行的程式碼與相依項。
權利與出處
影像模型和語言模型一樣有分層的條款:程式碼、權重與託管服務各自可能有不同的授權,同一個家族也可能混合寬鬆與非商業條款(見授權的各層)。請檢查確切權重檔的授權,以及它需要的任何額外元件。若你要發布影像,可考慮附上出處中繼資料:C2PA 標準定義了內容憑證(Content Credentials),記錄內容來自何處、如何被編輯。[14]
實際的起步路徑
偶爾製作插畫,可先從託管介面與清楚的需求開始。需要重複生產素材時,測試 API 或可儲存的工作流程。需要本地執行或客製化時,再依硬體與授權需求評估開放權重的釋出版本。若傳統設計工具能提供更可靠的控制,就把精確的文字與版面留在設計工具中處理。靜態影像通過驗收後,再把它們當成動態素材的刻意輸入:接著讀影片生成模型怎麼選。
現行選項,查核日期 2026 年 11 月 6 日
以下是代表性的例子,不是完整清單,也不是排名。每個輸出都要記錄確切的模型 ID 或權重版本:別名、日期快照與產品介面名稱是不同的紀錄。
託管影像系統
| 家族 | 官方文件中的現行 ID 或版本 | 第一項要做的試驗 |
|---|---|---|
| OpenAI GPT Image | 目錄列出 gpt-image-2.6-sunburst(精細作業)與 gpt-image-2.6-flare(快速迭代),以及帶日期快照的 2.5 模型,例如 gpt-image-2.5-sunburst-2026-09-08;gpt-image-1 已於 2026 年 10 月 23 日停止服務 [15, 16, 17] | 修改一個物件,並保留場景 |
| Google Gemini 影像模型 | gemini-nano-banana-2.1(Nano Banana 2.1,Nano Banana 2 的更新版)、穩定版的 gemini-3.1-flash-image(Nano Banana 2)與 gemini-3-pro-image [18, 19] | 一連串對話式編輯;檢查主體特徵是否漂移 |
| Midjourney | 明確選擇版本;請查看版本頁確認目前的預設版本 [20] | 依一份需求產生概念;精修其中一張所需的功夫 |
| Adobe Firefly | 在同一個介面中提供 Adobe 與合作夥伴的模型 [21] | 在你實際要用的設計流程中完成一份素材 |
| Meta Muse Image | muse-image-1.0,用於生成與多輪編輯 [22] | 參考圖引導的編輯;檢查主體特徵與不變的區域 |
| 其他有官方模型頁的系統 | Microsoft MAI-Image-2.6、xAI Grok Imagine Image 2.0、ByteDance Seedream 4.0 [23, 24, 25] | 同一張驗收表 |
Firefly 與部分 API 平台會代管合作夥伴的模型;某個產品內可用的模型,不一定由該產品的公司訓練。例如 Runway 的 API 目錄就列出多家公司的影像模型,包含 Seedream 5 的各個變體。[26] 訂閱與 API 存取可能附帶不同的權益。
可下載的權重
| 釋出版本 | 第一手來源確認的事 | 對選擇的意義 |
|---|---|---|
| Qwen-Image 與 Qwen-Image-Edit-2509 | 採 Apache-2.0 的生成模型,著重文字呈現;另有獨立的編輯權重 [27, 28] | 生成與編輯的權重不能互換 |
| FLUX.2 [klein] 4B/9B | 4B 採 Apache-2.0;9B 為開放權重,但採非商業條款 [29, 30] | 不要把某一個大小的授權套用到整個家族 |
| Stable Diffusion 3.5 Large | Stability AI Community License [31] | 閱讀其條件;它不是 Apache-2.0 |
| SDXL base 1.0 | 有獨立的模型卡與授權 [32] | 對照流程所需的 base/refiner 元件 |
| PixArt-Σ XL-2-1024-MS | 附推論流程的 diffusion Transformer 釋出版本 [33] | 在你的硬體上量測整條流程 |
| HunyuanImage-3.0 | Tencent 社群授權;有生成與 Instruct 兩種變體 [34] | 分清不同的變體 |
| Janus-Pro-7B | 整合理解與生成的研究釋出版本 [35] | 把生成與理解分開測試 |
工作流程工具。 ComfyUI 是廣泛使用的節點式工作台與後端;其儲存庫採 GPL-3.0,並提供選用的付費 API 節點。[13]
兩個不同的「Muse」名稱。 Meta Muse Image 是上面的託管產品線。Google Research 的 Muse(2023)則是遮罩式生成影像 Transformer 的研究方法,可搭配官方的 MaskGIT 實作閱讀;它不是可呼叫的 Google Muse API 或可下載權重的證據。[4, 36]
評測入口
| 資源 | 有用的證據 | 比較之前要檢查 |
|---|---|---|
| GenEval/GenEval 2 [8, 9] | 物件、計數、屬性與關係 | 評測版本、評審、各項技能的結果 |
| T2I-CompBench/++ [10] | 組合式的屬性與關係 | 版本、類別、評估模型 |
| DPG-Bench [37] | 透過問答檢查密集提示的對齊 | 提示集、取樣、評估者 |
| Arena 文生圖排行榜 [11] | 成對偏好排名 | 模型變體、日期、票數與不確定性 |
| Artificial Analysis 影像模型與方法 [12] | 偏好品質、價格、生成時間 | 生成或編輯、供應商、設定 |
延伸閱讀
- Rombach et al.,High-Resolution Image Synthesis with Latent Diffusion Models:多數現行生成器所承襲的設計。[2]
- Esser et al.,Scaling Rectified Flow Transformers:許多近期模型背後的 Transformer 與整流流做法。[3]
- Zhang et al.,ControlNet:如何替文生圖模型加入結構控制。[1]
- Meng et al.,SDEdit:為什麼以重新加雜訊做編輯,是在忠實與自由之間取捨。[5]
- Ghosh et al.,GenEval:以物件為中心量測指令遵循的方法。[8]
參考文獻
除另有註明外,查核日期為 2026 年 11 月 6 日:
- Lvmin Zhang, Anyi Rao and Maneesh Agrawala, “Adding Conditional Control to Text-to-Image Diffusion Models,” ICCV, 2023. Paper.
- Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser and Björn Ommer, “High-Resolution Image Synthesis With Latent Diffusion Models,” CVPR, 2022. Paper.
- Patrick Esser et al., “Scaling Rectified Flow Transformers for High-Resolution Image Synthesis,” ICML (PMLR 235), 2024. Paper.
- Huiwen Chang et al., “Muse: Text-To-Image Generation via Masked Generative Transformers,” arXiv, 2023. Project, paper.
- Chenlin Meng et al., “SDEdit: Guided Image Synthesis and Editing with Stochastic Differential Equations,” arXiv:2108.01073, 2021. Paper.
- Martin Heusel et al., “GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium,” NeurIPS, 2017 (introduces FID). Paper.
- Jack Hessel et al., “CLIPScore: A Reference-free Evaluation Metric for Image Captioning,” EMNLP, 2021. Paper.
- Dhruba Ghosh, Hanna Hajishirzi and Ludwig Schmidt, “GenEval: An Object-Focused Framework for Evaluating Text-to-Image Alignment,” 2023. Paper, evaluation code.
- A. Kamath et al., “GenEval 2: Addressing Benchmark Drift in Text-to-Image Evaluation,” 2025. Official data and evaluation.
- K. Huang et al., “T2I-CompBench: A Comprehensive Benchmark for Open-world Compositional Text-to-image Generation,” NeurIPS, 2023. Benchmark and ++ release.
- Arena, “Text-to-Image Leaderboard,” live resource. Leaderboard.
- Artificial Analysis, “Image Model Comparisons” and “Image Generation Benchmarking Methodology.” Comparisons, methodology.
- ComfyUI contributors, “ComfyUI.” Repository and license.
- Coalition for Content Provenance and Authenticity (C2PA), “C2PA Specifications.” Overview, specification 2.2.
- OpenAI, “Image generation.” API guide.
- OpenAI, “Models” and “Create image” API reference. Catalog, GPT-Image-2.6 Sunburst, supported model IDs and snapshots.
- OpenAI, “Deprecations.” Shutdown schedule.
- Google, “Gemini Nano Banana 2.1,” developer documentation. Model page.
- Google, “Gemini API models” and “Gemini 3.1 Flash Image.” Catalog, Gemini 3.1 Flash Image, deprecations.
- Midjourney, “Version.” Version documentation.
- Adobe, “Adobe Firefly.” Product and partner models.
- Meta, “Muse Image,” 2026. Model IDs, image-generation guide, announcement.
- Microsoft AI, “MAI-Image-2.6.” Model page.
- xAI, “Grok Imagine Image 2.0,” API documentation. Model ID and capabilities.
- ByteDance Seed, “Seedream 4.0,” official model page. Release and access.
- Runway, “Available AI Models,” API documentation. Model catalog.
- Qwen team, “Qwen-Image,” 2025. Model card.
- Qwen team, “Qwen-Image-Edit-2509,” 2025. Model card.
- Black Forest Labs, “How does FLUX licensing work?” License overview.
- Black Forest Labs, “FLUX.2 [klein],” 2026. 4B model card, 9B model card.
- Stability AI, “Stable Diffusion 3.5 Large,” 2024. Model card and license.
- Stability AI, “Stable Diffusion XL base 1.0,” 2023. Model card.
- PixArt team, “PixArt-Sigma-XL-2-1024-MS,” 2024. Model card.
- Tencent Hunyuan, “HunyuanImage-3.0,” 2025. Model card.
- DeepSeek-AI, “Janus-Pro-7B,” 2025. Model card.
- Google Research, “MaskGIT,” official implementation, 2022. Code and paper links.
- TencentQQGYLab, “ELLA — DPG-Bench,” 2024. Prompts and evaluation instructions.