影片生成模型怎麼選:鏡頭、控制與真正可用的成果
哪一個影片生成系統適合我的鏡頭?我要怎麼用真正可用的片段來比較系統?
請依照要完成的鏡頭選擇影片模型。開場畫面漂亮還不夠:主體必須維持可辨識的樣貌,動作要完成,片段也要能乾淨地接進前後剪輯。若你還需要參考影像或分鏡畫面,可以先讀影像生成模型選擇。
正文說明該看什麼、如何量測,與任何特定產品無關。現行的服務、模型 ID、開放權重的釋出與評測連結,都在現行選項。本文沒有執行任何付費生成。
重點
- 先說清楚你的輸入:只有文字、要讓它動起來的影像、起訖影格、要編輯的既有影片,或要對齊的聲音。每一種的支援程度,因模型與介面而異。
- 影片模型在壓縮的時空潛在表徵中,一次生成整段片段;成本與記憶體隨時長、解析度與影格率增長,這就是片段很短、延伸時會漂移的原因。
- 要評判動態,而不是靜止畫面:時間一致性、動態合理性、動作順序、攝影機控制、參考保真度與聲畫同步,是各自獨立的能力軸。
- 分布指標(FVD)與分面向的評測套件(VBench、VBench-2.0)診斷不同的失敗;偏好排行榜量測的是吸引力。沒有任何一項能取代親自觀看你自己的鏡頭。
- 比較每秒驗收片段的成本:每生成一秒較便宜的服務,每保留一秒可能反而更貴。
- 把程式碼、權重、額外的編碼器與託管存取視為各自獨立、條款也各自不同的成果。
先釐清手上有什麼素材
| 起點 | 操作 | 最適合 | 要留意 |
|---|---|---|---|
| 一段文字場景 | 文生影片 | 探索氣氛的鏡頭 | 主體設計錯誤;動作順序顛倒 |
| 一張已核可的靜態影像 | 圖生影片 | 外觀已固定的商品或角色鏡頭 | 主體在移動時改變形狀 |
| 起始與結束影格 | 關鍵影格之間的內插 | 起點與終點的構圖必須已知的鏡頭 | 兩個影格之間的路徑不合理 |
| 既有影片 | 影片轉換編輯、重新風格化、重新構圖 | 保留演員的真實動作 | 未被要求的改變;閃爍 |
| 一段生成的片段 | 延伸 | 較長的鏡頭 | 主體特徵與光線逐漸漂移 |
| 對白或聲音需求 | 聲畫聯合生成 | 一次產生語音、音效與環境聲 | 對嘴與時間點的錯誤 |
名為「參考」的控制,依產品不同,可能引導主體特徵、風格,或是邊界影格。請閱讀它的定義,並確認你對上傳的參考素材擁有權利。
影片生成器如何運作(簡述)
白話版。 影片生成器的運作,就像一個一次對整疊影格去雜訊的影像生成器,讓每個影格都與相鄰的影格一致。為了讓成本可負擔,它先在空間與時間上壓縮影片。
精確版。 影片擴散模型把影像擴散延伸到時空體積,聯合對一段片段的所有影格去雜訊,讓時間上的連貫性是學出來的,而不是事後強加的。[1] 實用的系統用影片自編碼器把片段壓縮成高度、寬度與時間都更小的潛在表徵,在該潛在空間中執行去雜訊器(越來越常見的是跨空間與時間做注意力的 Transformer),再解碼。[2, 3] 文字、輸入影像或關鍵影格等條件,會與帶雜訊的潛在表徵一起進入去雜訊器。本站的 DLCV 12A 說明這些設計,並附有潛在表徵大小與注意力成本的計算範例。
這些機制對選型的意義:
- 時長很昂貴。 注意力成本隨潛在影格數與像素數快速增長,所以服務會限制片段長度與解析度,較長的鏡頭是靠延伸做出來的。每次延伸都以前一段的結尾為條件,因此小錯誤會累積成漂移。
- 圖生影片約束的是外觀,不是物理。 輸入影像固定了第一個影格;合理的接觸、遮擋與物體恆存性,仍取決於模型學到了什麼。
- 編輯是重新生成。 和影像一樣,編輯通常是在新的條件下重新合成整段片段;每個應保持不變的區域都要檢查。
- 設定是結果的一部分。 解析度、影格率、時長、取樣步數、提示改寫與種子都會改變輸出;請記錄下來。
能力軸
| 能力軸 | 問題 | 測試方式 |
|---|---|---|
| 時間一致性 | 臉孔、物件、衣著與背景是否保持相同? | 繞著細節豐富的主體緩慢環繞 |
| 動態合理性 | 接觸、重量、遮擋與碰撞是否可信? | 一隻手拿起玻璃杯;一顆彈跳的球 |
| 指令與順序 | 要求的動作是否依序發生? | 「打開門,然後轉向鏡頭」 |
| 攝影機控制 | 能否指定平移、推軌、焦距變化? | 在提示或控制項中指定一種攝影機運動 |
| 參考保真度 | 輸入影像或角色在動起來之後是否仍保持原樣? | 讓你核可的商品靜態影像動起來 |
| 時長、解析度、影格率 | 原生的限制,以及在你交付格式下的品質 | 以你剪輯用的尺寸與影格率生成 |
| 聲音 | 若支援,語音、音效與同步 | 一句簡短的對白,搭配可見的動作 |
| 可編輯性 | 能否在不破壞連續性的情況下延伸、循環、重新構圖或編輯? | 把一段片段延伸兩次,比較結尾 |
| 速度與成本 | 等待時間與每秒驗收片段的花費 | 在整個試用中追蹤 |
影片如何評估
- FVD(Fréchet Video Distance) 把 FID 的概念延伸到影片:比較大量生成與真實片段的特徵統計量。它量測的是分布層級的品質,需要許多樣本;無法告訴你某一個鏡頭是否遵循了它的提示。[4]
- VBench 把品質拆成各自獨立的面向,例如主體一致性、動作平順度、時間閃爍與空間關係,每個面向有自己的自動評估器,因此你能看出模型屬於哪一種失敗。[5]
- VBench-2.0 針對內在的忠實度:人物忠實度、可控性、創意、物理與常識。它是另一個套件;分數不能與 VBench 的總分互換。[6]
- 偏好排行榜依盲測的成對比較為系統排名;有聲與無聲的評估回答不同的問題。[7, 8]
DLCV 12A 評估影片生成模型的小節討論了這些指標與人類評估。不論引用什麼,都要保存評測套件版本、模型與供應商 ID、任務(文生影片或圖生影片)、聲音設定、解析度、影格率、時長與取樣預算。
檢視你自己的鏡頭
寫一份鏡頭需求,包含主體、動作、攝影機運動、光線、構圖與必要的聲音。把必要的細節和偏好分開。接著用同一張表檢視每個候選:
- 指令: 要求的動作是否發生,且順序正確?
- 連續性: 臉孔、物件、衣著與背景是否保持一致?
- 動態: 接觸、遮擋與攝影機運動是否合理?
- 聲音: 若支援,語音與音效是否對應可見的事件?
- 可剪輯性: 開頭與結尾能否與相鄰的鏡頭接上?
先以正常速度看完整段,再逐格檢查可疑的轉折;清晰的靜止畫面,可能掩蓋物件在中途改變形狀。每輪迭代只改一個主要變因。商品鏡頭可先確立形狀與動態,之後再調整氣氛。保存提示、輸入素材、模型與版本、設定、輸出與淘汰原因。把驗收過的鏡頭放進剪輯軟體,並檢查切換之間的連續性:延伸一段片段,並不能規劃故事的畫面方向、光線或聲音。
比較可用片段的成本
每秒驗收片段的成本,是一個鏡頭的全部生成花費(包含被淘汰的嘗試),除以你實際保留在剪輯中的秒數。請說明是否包含放大、聲音、儲存與人工剪輯,且若沒有任何片段通過,就報告失敗,而不是給出誤導性的價格。下面這份假設性的紀錄,顯示為什麼每生成一秒的價格可能造成誤導:
程式碼 · Python · 13 行
# Hypothetical trial log for one shot brief: (clip seconds, generation cost, seconds kept in the edit).
# The numbers are made up to show the arithmetic; they are not prices of any service.
trials = {
"service A": [(8, 1.20, 0), (8, 1.20, 5), (8, 1.20, 0), (8, 1.20, 6)],
"service B": [(5, 0.40, 0), (5, 0.40, 0), (5, 0.40, 3), (5, 0.40, 0),
(5, 0.40, 0), (5, 0.40, 4), (5, 0.40, 0), (5, 0.40, 0)],
}
for name, log in trials.items():
generated = sum(s for s, _, _ in log)
spent = sum(c for _, c, _ in log)
kept = sum(k for _, _, k in log)
print(f"{name}: generated {generated} s, kept {kept} s, spent {spent:.2f},"
f" {spent / generated:.3f} per generated s, {spent / kept:.3f} per accepted s")程式碼 · 2 行
service A: generated 32 s, kept 11 s, spent 4.80, 0.150 per generated s, 0.436 per accepted s
service B: generated 40 s, kept 7 s, spent 3.20, 0.080 per generated s, 0.457 per accepted s服務 B 每生成一秒的價格幾乎只有一半,但每保留一秒仍然比較貴。試驗次數這麼少,差異並不顯著;重點是該計算哪一個比值。各候選之間要保持解析度、時長、來源素材、預算與驗收規則一致,並且除了生成時間,也要記錄等待時間。
在本地執行模型
可下載的權重,並不保證一台工作站能執行你的工作負載。記憶體與時間取決於解析度、影格數、精度、模型元件的組合(文字編碼器、影片自編碼器、去雜訊器)與執行環境。把元件卸載到 CPU 記憶體,會降低 GPU 的記憶體壓力,但會增加傳輸與延遲。先從儲存庫文件記載的設定開始,再量測你的目標設定。
為了可重現,請保存模型卡網址與其 revision、權重檔名、程式碼 revision、精度或量化、取樣器與步數。蒸餾或量化後的權重,是與完整釋出版本不同的實驗。程式碼、權重、額外的編碼器與託管存取,各自可能有不同的條款(見授權的各層)。
先用一項託管服務處理範圍明確的鏡頭;當客製化、資料位置或持續的產量足以支持維運成本時,再考慮本地權重。每次升級後重用相同的試驗鏡頭,方法可參考模型評測指南。
現行選項,查核日期 2026 年 11 月 6 日
以下是代表性的例子,不是完整清單,也不是經過測試的排名。除了模型名稱,也要固定存取管道(哪個 API、哪個平台)。
託管服務與模型
| 家族或服務 | 官方文件中的現行 ID | 第一項要測試的事 |
|---|---|---|
| Google Gemini Omni Flash | gemini-omni-1.2-flash 是 Gemini API 目前的影片模型,用於生成與對話式影片編輯;Gemini API 的 Veo 3.1 預覽端點已於 2026 年 10 月 22 日停止服務 [9] | 反覆編輯是否能保留主體與先前的決定 |
| Google Cloud 上的 Google Veo 3.1 | GA 的 veo-3.1-generate-001 與 veo-3.1-fast-generate-001;預覽版的 veo-3.1-lite-generate-001;支援聲音生成 [10] | 同時檢查動態、對白與聲畫同步 |
| Runway API 目錄 | Runway 的 gen4.5、gen4_turbo 與編輯模型 aleph2,以及其他公司的模型,例如 Kling kling_4、ByteDance seedance2_5、MiniMax hailuo3/h3_max、Alibaba wan3 [11] | 該端點確切的輸入,以及編輯保留度 |
| Luma Ray 3.2 | ray-3.2:文生影片與圖生影片,可搭配起訖影格或關鍵影格錨點,支援延伸、編輯、重新構圖、選用的 HDR,片段長度為 5 或 10 秒 [12] | 一項未改變的內容必須保留的編輯 |
| xAI Grok Imagine Video 1.5 | grok-imagine-video-1.5(文字與影像輸入)[13] | 在簡短的需求上測試動態與提示順序 |
服務可以代管其他公司的模型,而消費者應用程式與 API 也可能提供不同的控制;請比較你真正要使用的產品。
已無法使用。 OpenAI 的停用頁面列出,Videos API 與 Sora 2 模型已於 2026 年 9 月 24 日自 API 移除。Sora 只適合放在歷史比較中。[14]
哪一個「Muse」? Meta 在 2026 年 7 月 7 日發表 Muse Image 與 Muse Video 的公告,將 Muse Video 描述為具原生聲音的預覽版,並指出聲畫同步與快速動作的物理合理性仍有待改善;目前的 Meta Model API 目錄並未列出 Muse Video 端點,因此這裡不假設它有公開的 API ID 或權重檔。[15, 16] Microsoft Research 的 Muse(WHAM)則是與此無關的遊戲研究模型,生成遊戲畫面與控制器動作。[17]
可下載的權重
| 釋出版本 | 為什麼值得研究 | 條款 |
|---|---|---|
| Wan2.2:T2V-A14B、I2V-A14B、TI2V-5B | 分別提供文字、影像及文字/影像共同條件的權重 [18] | 儲存庫採 Apache-2.0;也要檢查所選權重與相依項 |
| HunyuanVideo 與 HunyuanVideo-1.5 | 公開的推論程式碼;T2V、I2V 與蒸餾變體 [19, 20] | Tencent Hunyuan Community License [19] |
LTX-2:ltx-2-19b-dev、ltx-2-19b-distilled | 聲畫推論與訓練工具;完整與蒸餾權重 [21] | 程式碼採 Apache-2.0;權重採 LTX-2 Community License [21] |
| CogVideoX1.5:5B T2V、5B I2V | 明確區分文生影片與圖生影片的模型卡 [22] | 權重上標示的 CogVideoX 授權 |
| Mochi 1 preview | 另一個開放的文生影片權重 [23] | 模型卡標示 Apache-2.0;預覽狀態 |
評測入口
| 連結 | 貢獻 | 界線 |
|---|---|---|
| VBench 專案與排行榜 [5, 24] | 各面向的品質,並附評估程式碼 | 記錄評測套件、任務與生成設定 |
| VBench-2.0 與協定 [6] | 忠實度、可控性、創意、物理、常識 | 不能與 VBench 總分互換 |
| Artificial Analysis 文生影片/圖生影片與方法 [7, 8] | 盲測成對偏好,有聲與靜音的評估分開 | 評測版本與評估者協定 |
延伸閱讀
- Ho et al.,Video Diffusion Models:聯合時空去雜訊的起點。[1]
- Blattmann et al.,Stable Video Diffusion:潛在影片擴散,以及大規模資料篩選的角色。[2]
- Wan team,Wan: Open and Advanced Large-Scale Video Generative Models:一個開放權重影片模型家族的詳細技術報告。[3]
- Huang et al.,VBench:為什麼分面向評估勝過單一彙總分數。[5]
- Unterthiner et al.,FVD:分布指標及其假設。[4]
參考文獻
除另有註明外,查核日期為 2026 年 11 月 6 日:
- Jonathan Ho, Tim Salimans, Alexey Gritsenko, William Chan, Mohammad Norouzi and David J. Fleet, “Video Diffusion Models,” NeurIPS, 2022. Paper.
- Andreas Blattmann et al., “Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets,” arXiv:2311.15127, 2023. Paper.
- Team Wan et al., “Wan: Open and Advanced Large-Scale Video Generative Models,” arXiv:2503.20314, 2025. Report.
- Thomas Unterthiner et al., “Towards Accurate Generative Models of Video: A New Metric & Challenges,” arXiv:1812.01717, 2018. Paper.
- Ziqi Huang, Yinan He, Jiashuo Yu, et al., “VBench: Comprehensive Benchmark Suite for Video Generative Models,” CVPR, 2024. Project.
- Dian Zheng, Ziqi Huang, Hongbo Liu, et al., “VBench-2.0: Advancing Video Generation Benchmark Suite for Intrinsic Faithfulness,” arXiv, 2025. Paper, protocol.
- Artificial Analysis, “Video Generation Benchmarking Methodology,” 2026. Methodology.
- Artificial Analysis, “AA-Video-T2V” and “AA-Video-I2V” leaderboards, 2026. Text-to-video, image-to-video.
- Google, “Video generation in the Gemini API” and “Gemini Omni Flash,” 2026. Video API and preview shutdown, Omni guide, deprecations.
- Google Cloud, “Veo 3.1,” 2026. Model IDs, launch stages and access.
- Runway, “Available AI Models,” API documentation. Model catalog.
- Luma AI, “Models,” Luma Agents documentation. Model guide.
- xAI, “Grok Imagine Video 1.5,” API documentation. Model page.
- OpenAI, “Deprecations,” API documentation. Videos API and Sora 2 shutdown.
- Meta, “Introducing Muse Image and Muse Video,” 7 July 2026. Announcement.
- Meta, “Models,” Meta Model API. Model catalog.
- Katja Hofmann, “Introducing Muse: Our first generative AI model designed for gameplay ideation,” Microsoft Research, 19 February 2025. Article.
- Wan team, “Wan2.2.” Repository.
- Tencent Hunyuan, “HunyuanVideo” and its community license. Repository, license.
- Tencent Hunyuan, “HunyuanVideo-1.5,” 2025. Model card, inference instructions.
- Lightricks, “LTX-2,” 2026. Model card, repository, model license.
- Z.ai / THUDM, “CogVideoX1.5-5B,” 2024. T2V card and license, I2V card.
- Genmo, “Mochi 1 preview,” 2024. Model card.
- Vchitect, “VBench Leaderboard.” Leaderboard.