完整搜尋頁面 →

影片生成模型怎麼選:鏡頭、控制與真正可用的成果

哪一個影片生成系統適合我的鏡頭?我要怎麼用真正可用的片段來比較系統?

閱讀約 10 分鐘更新於 資料查核於 English

請依照要完成的鏡頭選擇影片模型。開場畫面漂亮還不夠:主體必須維持可辨識的樣貌,動作要完成,片段也要能乾淨地接進前後剪輯。若你還需要參考影像或分鏡畫面,可以先讀影像生成模型選擇。

正文說明該看什麼、如何量測,與任何特定產品無關。現行的服務、模型 ID、開放權重的釋出與評測連結,都在現行選項。本文沒有執行任何付費生成。

重點

  • 先說清楚你的輸入:只有文字、要讓它動起來的影像、起訖影格、要編輯的既有影片,或要對齊的聲音。每一種的支援程度,因模型與介面而異。
  • 影片模型在壓縮的時空潛在表徵中,一次生成整段片段;成本與記憶體隨時長、解析度與影格率增長,這就是片段很短、延伸時會漂移的原因。
  • 要評判動態,而不是靜止畫面:時間一致性、動態合理性、動作順序、攝影機控制、參考保真度與聲畫同步,是各自獨立的能力軸。
  • 分布指標(FVD)與分面向的評測套件(VBench、VBench-2.0)診斷不同的失敗;偏好排行榜量測的是吸引力。沒有任何一項能取代親自觀看你自己的鏡頭。
  • 比較每秒驗收片段的成本:每生成一秒較便宜的服務,每保留一秒可能反而更貴。
  • 把程式碼、權重、額外的編碼器與託管存取視為各自獨立、條款也各自不同的成果。

先釐清手上有什麼素材

起點操作最適合要留意
一段文字場景文生影片探索氣氛的鏡頭主體設計錯誤;動作順序顛倒
一張已核可的靜態影像圖生影片外觀已固定的商品或角色鏡頭主體在移動時改變形狀
起始與結束影格關鍵影格之間的內插起點與終點的構圖必須已知的鏡頭兩個影格之間的路徑不合理
既有影片影片轉換編輯、重新風格化、重新構圖保留演員的真實動作未被要求的改變;閃爍
一段生成的片段延伸較長的鏡頭主體特徵與光線逐漸漂移
對白或聲音需求聲畫聯合生成一次產生語音、音效與環境聲對嘴與時間點的錯誤

名為「參考」的控制,依產品不同,可能引導主體特徵、風格,或是邊界影格。請閱讀它的定義,並確認你對上傳的參考素材擁有權利。

影片生成器如何運作(簡述)

白話版。 影片生成器的運作,就像一個一次對整疊影格去雜訊的影像生成器,讓每個影格都與相鄰的影格一致。為了讓成本可負擔,它先在空間與時間上壓縮影片。

精確版。 影片擴散模型把影像擴散延伸到時空體積,聯合對一段片段的所有影格去雜訊,讓時間上的連貫性是學出來的,而不是事後強加的。[1] 實用的系統用影片自編碼器把片段壓縮成高度、寬度與時間都更小的潛在表徵,在該潛在空間中執行去雜訊器(越來越常見的是跨空間與時間做注意力的 Transformer),再解碼。[2, 3] 文字、輸入影像或關鍵影格等條件,會與帶雜訊的潛在表徵一起進入去雜訊器。本站的 DLCV 12A 說明這些設計,並附有潛在表徵大小與注意力成本的計算範例。

這些機制對選型的意義:

  • 時長很昂貴。 注意力成本隨潛在影格數與像素數快速增長,所以服務會限制片段長度與解析度,較長的鏡頭是靠延伸做出來的。每次延伸都以前一段的結尾為條件,因此小錯誤會累積成漂移。
  • 圖生影片約束的是外觀,不是物理。 輸入影像固定了第一個影格;合理的接觸、遮擋與物體恆存性,仍取決於模型學到了什麼。
  • 編輯是重新生成。 和影像一樣,編輯通常是在新的條件下重新合成整段片段;每個應保持不變的區域都要檢查。
  • 設定是結果的一部分。 解析度、影格率、時長、取樣步數、提示改寫與種子都會改變輸出;請記錄下來。

能力軸

能力軸問題測試方式
時間一致性臉孔、物件、衣著與背景是否保持相同?繞著細節豐富的主體緩慢環繞
動態合理性接觸、重量、遮擋與碰撞是否可信?一隻手拿起玻璃杯;一顆彈跳的球
指令與順序要求的動作是否依序發生?「打開門,然後轉向鏡頭」
攝影機控制能否指定平移、推軌、焦距變化?在提示或控制項中指定一種攝影機運動
參考保真度輸入影像或角色在動起來之後是否仍保持原樣?讓你核可的商品靜態影像動起來
時長、解析度、影格率原生的限制,以及在你交付格式下的品質以你剪輯用的尺寸與影格率生成
聲音若支援,語音、音效與同步一句簡短的對白,搭配可見的動作
可編輯性能否在不破壞連續性的情況下延伸、循環、重新構圖或編輯?把一段片段延伸兩次,比較結尾
速度與成本等待時間與每秒驗收片段的花費在整個試用中追蹤

影片如何評估

  • FVD(Fréchet Video Distance) 把 FID 的概念延伸到影片:比較大量生成與真實片段的特徵統計量。它量測的是分布層級的品質,需要許多樣本;無法告訴你某一個鏡頭是否遵循了它的提示。[4]
  • VBench 把品質拆成各自獨立的面向,例如主體一致性、動作平順度、時間閃爍與空間關係,每個面向有自己的自動評估器,因此你能看出模型屬於哪一種失敗。[5]
  • VBench-2.0 針對內在的忠實度:人物忠實度、可控性、創意、物理與常識。它是另一個套件;分數不能與 VBench 的總分互換。[6]
  • 偏好排行榜依盲測的成對比較為系統排名;有聲與無聲的評估回答不同的問題。[7, 8]

DLCV 12A 評估影片生成模型的小節討論了這些指標與人類評估。不論引用什麼,都要保存評測套件版本、模型與供應商 ID、任務(文生影片或圖生影片)、聲音設定、解析度、影格率、時長與取樣預算。

檢視你自己的鏡頭

寫一份鏡頭需求,包含主體、動作、攝影機運動、光線、構圖與必要的聲音。把必要的細節和偏好分開。接著用同一張表檢視每個候選:

  • 指令: 要求的動作是否發生,且順序正確?
  • 連續性: 臉孔、物件、衣著與背景是否保持一致?
  • 動態: 接觸、遮擋與攝影機運動是否合理?
  • 聲音: 若支援,語音與音效是否對應可見的事件?
  • 可剪輯性: 開頭與結尾能否與相鄰的鏡頭接上?

先以正常速度看完整段,再逐格檢查可疑的轉折;清晰的靜止畫面,可能掩蓋物件在中途改變形狀。每輪迭代只改一個主要變因。商品鏡頭可先確立形狀與動態,之後再調整氣氛。保存提示、輸入素材、模型與版本、設定、輸出與淘汰原因。把驗收過的鏡頭放進剪輯軟體,並檢查切換之間的連續性:延伸一段片段,並不能規劃故事的畫面方向、光線或聲音。

比較可用片段的成本

每秒驗收片段的成本,是一個鏡頭的全部生成花費(包含被淘汰的嘗試),除以你實際保留在剪輯中的秒數。請說明是否包含放大、聲音、儲存與人工剪輯,且若沒有任何片段通過,就報告失敗,而不是給出誤導性的價格。下面這份假設性的紀錄,顯示為什麼每生成一秒的價格可能造成誤導:

程式碼 · Python · 13 行
# Hypothetical trial log for one shot brief: (clip seconds, generation cost, seconds kept in the edit).
# The numbers are made up to show the arithmetic; they are not prices of any service.
trials = {
    "service A": [(8, 1.20, 0), (8, 1.20, 5), (8, 1.20, 0), (8, 1.20, 6)],
    "service B": [(5, 0.40, 0), (5, 0.40, 0), (5, 0.40, 3), (5, 0.40, 0),
                  (5, 0.40, 0), (5, 0.40, 4), (5, 0.40, 0), (5, 0.40, 0)],
}
for name, log in trials.items():
    generated = sum(s for s, _, _ in log)
    spent = sum(c for _, c, _ in log)
    kept = sum(k for _, _, k in log)
    print(f"{name}: generated {generated} s, kept {kept} s, spent {spent:.2f},"
          f" {spent / generated:.3f} per generated s, {spent / kept:.3f} per accepted s")
程式碼 · 2 行
service A: generated 32 s, kept 11 s, spent 4.80, 0.150 per generated s, 0.436 per accepted s
service B: generated 40 s, kept 7 s, spent 3.20, 0.080 per generated s, 0.457 per accepted s

服務 B 每生成一秒的價格幾乎只有一半,但每保留一秒仍然比較貴。試驗次數這麼少,差異並不顯著;重點是該計算哪一個比值。各候選之間要保持解析度、時長、來源素材、預算與驗收規則一致,並且除了生成時間,也要記錄等待時間。

在本地執行模型

可下載的權重,並不保證一台工作站能執行你的工作負載。記憶體與時間取決於解析度、影格數、精度、模型元件的組合(文字編碼器、影片自編碼器、去雜訊器)與執行環境。把元件卸載到 CPU 記憶體,會降低 GPU 的記憶體壓力,但會增加傳輸與延遲。先從儲存庫文件記載的設定開始,再量測你的目標設定。

為了可重現,請保存模型卡網址與其 revision、權重檔名、程式碼 revision、精度或量化、取樣器與步數。蒸餾或量化後的權重,是與完整釋出版本不同的實驗。程式碼、權重、額外的編碼器與託管存取,各自可能有不同的條款(見授權的各層)。

先用一項託管服務處理範圍明確的鏡頭;當客製化、資料位置或持續的產量足以支持維運成本時,再考慮本地權重。每次升級後重用相同的試驗鏡頭,方法可參考模型評測指南。

現行選項,查核日期 2026 年 11 月 6 日

以下是代表性的例子,不是完整清單,也不是經過測試的排名。除了模型名稱,也要固定存取管道(哪個 API、哪個平台)。

託管服務與模型

家族或服務官方文件中的現行 ID第一項要測試的事
Google Gemini Omni Flashgemini-omni-1.2-flash 是 Gemini API 目前的影片模型,用於生成與對話式影片編輯;Gemini API 的 Veo 3.1 預覽端點已於 2026 年 10 月 22 日停止服務 [9]反覆編輯是否能保留主體與先前的決定
Google Cloud 上的 Google Veo 3.1GA 的 veo-3.1-generate-001 與 veo-3.1-fast-generate-001;預覽版的 veo-3.1-lite-generate-001;支援聲音生成 [10]同時檢查動態、對白與聲畫同步
Runway API 目錄Runway 的 gen4.5、gen4_turbo 與編輯模型 aleph2,以及其他公司的模型,例如 Kling kling_4、ByteDance seedance2_5、MiniMax hailuo3/h3_max、Alibaba wan3 [11]該端點確切的輸入,以及編輯保留度
Luma Ray 3.2ray-3.2:文生影片與圖生影片,可搭配起訖影格或關鍵影格錨點,支援延伸、編輯、重新構圖、選用的 HDR,片段長度為 5 或 10 秒 [12]一項未改變的內容必須保留的編輯
xAI Grok Imagine Video 1.5grok-imagine-video-1.5(文字與影像輸入)[13]在簡短的需求上測試動態與提示順序

服務可以代管其他公司的模型,而消費者應用程式與 API 也可能提供不同的控制;請比較你真正要使用的產品。

已無法使用。 OpenAI 的停用頁面列出,Videos API 與 Sora 2 模型已於 2026 年 9 月 24 日自 API 移除。Sora 只適合放在歷史比較中。[14]

哪一個「Muse」? Meta 在 2026 年 7 月 7 日發表 Muse Image 與 Muse Video 的公告,將 Muse Video 描述為具原生聲音的預覽版,並指出聲畫同步與快速動作的物理合理性仍有待改善;目前的 Meta Model API 目錄並未列出 Muse Video 端點,因此這裡不假設它有公開的 API ID 或權重檔。[15, 16] Microsoft Research 的 Muse(WHAM)則是與此無關的遊戲研究模型,生成遊戲畫面與控制器動作。[17]

可下載的權重

釋出版本為什麼值得研究條款
Wan2.2:T2V-A14B、I2V-A14B、TI2V-5B分別提供文字、影像及文字/影像共同條件的權重 [18]儲存庫採 Apache-2.0;也要檢查所選權重與相依項
HunyuanVideo 與 HunyuanVideo-1.5公開的推論程式碼;T2V、I2V 與蒸餾變體 [19, 20]Tencent Hunyuan Community License [19]
LTX-2:ltx-2-19b-dev、ltx-2-19b-distilled聲畫推論與訓練工具;完整與蒸餾權重 [21]程式碼採 Apache-2.0;權重採 LTX-2 Community License [21]
CogVideoX1.5:5B T2V、5B I2V明確區分文生影片與圖生影片的模型卡 [22]權重上標示的 CogVideoX 授權
Mochi 1 preview另一個開放的文生影片權重 [23]模型卡標示 Apache-2.0;預覽狀態

評測入口

連結貢獻界線
VBench 專案與排行榜 [5, 24]各面向的品質,並附評估程式碼記錄評測套件、任務與生成設定
VBench-2.0 與協定 [6]忠實度、可控性、創意、物理、常識不能與 VBench 總分互換
Artificial Analysis 文生影片/圖生影片與方法 [7, 8]盲測成對偏好,有聲與靜音的評估分開評測版本與評估者協定

延伸閱讀

參考文獻

除另有註明外,查核日期為 2026 年 11 月 6 日:

  1. Jonathan Ho, Tim Salimans, Alexey Gritsenko, William Chan, Mohammad Norouzi and David J. Fleet, “Video Diffusion Models,” NeurIPS, 2022. Paper.
  2. Andreas Blattmann et al., “Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets,” arXiv:2311.15127, 2023. Paper.
  3. Team Wan et al., “Wan: Open and Advanced Large-Scale Video Generative Models,” arXiv:2503.20314, 2025. Report.
  4. Thomas Unterthiner et al., “Towards Accurate Generative Models of Video: A New Metric & Challenges,” arXiv:1812.01717, 2018. Paper.
  5. Ziqi Huang, Yinan He, Jiashuo Yu, et al., “VBench: Comprehensive Benchmark Suite for Video Generative Models,” CVPR, 2024. Project.
  6. Dian Zheng, Ziqi Huang, Hongbo Liu, et al., “VBench-2.0: Advancing Video Generation Benchmark Suite for Intrinsic Faithfulness,” arXiv, 2025. Paper, protocol.
  7. Artificial Analysis, “Video Generation Benchmarking Methodology,” 2026. Methodology.
  8. Artificial Analysis, “AA-Video-T2V” and “AA-Video-I2V” leaderboards, 2026. Text-to-video, image-to-video.
  9. Google, “Video generation in the Gemini API” and “Gemini Omni Flash,” 2026. Video API and preview shutdown, Omni guide, deprecations.
  10. Google Cloud, “Veo 3.1,” 2026. Model IDs, launch stages and access.
  11. Runway, “Available AI Models,” API documentation. Model catalog.
  12. Luma AI, “Models,” Luma Agents documentation. Model guide.
  13. xAI, “Grok Imagine Video 1.5,” API documentation. Model page.
  14. OpenAI, “Deprecations,” API documentation. Videos API and Sora 2 shutdown.
  15. Meta, “Introducing Muse Image and Muse Video,” 7 July 2026. Announcement.
  16. Meta, “Models,” Meta Model API. Model catalog.
  17. Katja Hofmann, “Introducing Muse: Our first generative AI model designed for gameplay ideation,” Microsoft Research, 19 February 2025. Article.
  18. Wan team, “Wan2.2.” Repository.
  19. Tencent Hunyuan, “HunyuanVideo” and its community license. Repository, license.
  20. Tencent Hunyuan, “HunyuanVideo-1.5,” 2025. Model card, inference instructions.
  21. Lightricks, “LTX-2,” 2026. Model card, repository, model license.
  22. Z.ai / THUDM, “CogVideoX1.5-5B,” 2024. T2V card and license, I2V card.
  23. Genmo, “Mochi 1 preview,” 2024. Model card.
  24. Vchitect, “VBench Leaderboard.” Leaderboard.
  • #video-generation
  • #models
  • #tools
  • #evaluation