前言 - AI 視頻閉源產(chǎn)品近半年發(fā)展

Sora 之后，DiT 架構(gòu)成為視頻生成產(chǎn)品的主流技術(shù)。這大半年里，橫空出世的 Luma AI、Kling 成為視頻生成領(lǐng)域最大黑馬，而老牌選手 Runway 也推出了實(shí)力強(qiáng)勁的 Gen3 模型。AI 視頻生成在畫(huà)面表現(xiàn)力、語(yǔ)義理解、清晰度、可控性方面有了大幅提升，同時(shí)多家產(chǎn)品在音畫(huà)同步、筆刷等工具上做了更新，提升了產(chǎn)品可控性。

這篇文章會(huì)帶大家了解 AI 視頻產(chǎn)品的最新能力，不同產(chǎn)品的優(yōu)勢(shì)，以及展示各個(gè)產(chǎn)品的實(shí)測(cè)效果。

這個(gè)系列預(yù)計(jì)分為閉源、開(kāi)源兩篇。以下是本文目錄：

一、先說(shuō)結(jié)論

1. 頭部產(chǎn)品能力測(cè)評(píng)

前兩個(gè)場(chǎng)景制作于 9 月初，主要針對(duì) AI 視頻生成最火的 Runway（Gen-3）、Luma AI（Dream Machine1.5）、可靈 1.0 進(jìn)行了測(cè)試。

① txt2vid（文生視頻）

測(cè)試了 5 個(gè)不同場(chǎng)景的表現(xiàn)，Runway、Luma 各有千秋，可靈 1.0 在清晰度、語(yǔ)義理解、畫(huà)面繪制上還有較大提升空間。

② img2vid（圖生視頻）

Runway 在光影效果中表現(xiàn)得不夠真實(shí)，但綜合下來(lái)對(duì)各場(chǎng)景的支持度都比較高。

Kling 1.0 綜合表現(xiàn)依然很差，但在人物特寫(xiě)、光影上確實(shí)有著不俗的表現(xiàn)，Luma 則在人物特寫(xiě)上顯得非常弱勢(shì)，處理抽象材質(zhì)運(yùn)動(dòng)時(shí)表現(xiàn)不凡。

③ Kling1.0 vs 1.5

可靈 1.5 與 Luma、Runway Gen-3 的差距肉眼可見(jiàn)地在縮?。ㄔ摪咐郎y(cè)評(píng)于 9 月末）。

④ AI 視頻產(chǎn)品能力排名

以下均為個(gè)人多次測(cè)試的主觀感受，可能會(huì)存在測(cè)試數(shù)據(jù)不足、內(nèi)容維度有限的問(wèn)題，歡迎大家補(bǔ)充～

2. AI 視頻產(chǎn)品特點(diǎn)分析

3. AI 視頻生成難點(diǎn)小結(jié)

① 物理交互準(zhǔn)確性還有很大進(jìn)步空間

雖然視頻中動(dòng)作的流暢度有大幅提升，但 AI 視頻大多還是存在運(yùn)動(dòng)合理性的問(wèn)題。在實(shí)際測(cè)試中，有時(shí)視頻中會(huì)出現(xiàn)動(dòng)作突變，不連貫，這個(gè)問(wèn)題在平面圖像生視頻中更明顯。

這點(diǎn)也和現(xiàn)階段視頻生成時(shí)長(zhǎng)不足有很大關(guān)系，如果提示詞、首尾幀要求模型需要在短時(shí)間內(nèi)處理更大幅度的運(yùn)動(dòng)，這種現(xiàn)象會(huì)更明顯。

② 訓(xùn)練數(shù)據(jù)的多樣性還需持續(xù)提升

在我的測(cè)試中，會(huì)發(fā)現(xiàn)同樣的場(chǎng)景相似能力的產(chǎn)品表現(xiàn)差異巨大。例如下文案例中，我用 txt2vid 中測(cè)試了一組藝術(shù)家在墻上噴繪的案例，Runway 的表現(xiàn)極其的好，而 Kling 1.5 依然乏善可陳。

因工作需要，我會(huì)更關(guān)注平面風(fēng)格圖片生成的視頻效果，由于缺乏訓(xùn)練數(shù)據(jù)、畫(huà)面中的深度信息很難被識(shí)別等綜合原因，拋開(kāi)各家產(chǎn)品官方 Demo，目前在我自己的真實(shí)測(cè)試中，所有產(chǎn)品在平面方向的生成效果還不夠好。

通常我會(huì)先使用提示詞輔助 img2vid，并且在文生圖時(shí)就盡量在圖片中增加一些可運(yùn)動(dòng)的裝飾性元素（花、樹(shù)葉、光斑等），如果生成效果不滿意我會(huì)轉(zhuǎn)向 Runway Gen-2 筆刷工具進(jìn)行精細(xì)調(diào)節(jié)來(lái)避免較大瑕疵。偶爾會(huì)出現(xiàn)二次元人物形象被處理成真人的情況，非?？植拦?。

又例如在輸入一張卡通狗圖片時(shí)，模型無(wú)視了提示詞內(nèi)容，自動(dòng)生成狗狗叫的“刻板印象”畫(huà)面。

③ 大幅運(yùn)動(dòng)造成的模糊感依然沒(méi)有解決。

④ 可控性依然不足。

在實(shí)際生產(chǎn)場(chǎng)景，僅靠提示詞很難精細(xì)化描述我們需要對(duì) AI 有更多的控制力來(lái)達(dá)到目標(biāo)效果。各家在筆刷工具和運(yùn)鏡控制上的支持還有細(xì)微差別，還有進(jìn)一步提升的空間。

一些小經(jīng)驗(yàn)：

1. 如果主體物在畫(huà)面中占比過(guò)小，AI 傾向于產(chǎn)出只有鏡頭位移的效果，想要達(dá)到目標(biāo)效果就會(huì)增加抽卡次數(shù)。所以盡量選擇主體物占比大的圖片
2. 生視頻時(shí)描述詞最好是畫(huà)面中有的，且易識(shí)別的內(nèi)容，否則模型會(huì)自發(fā)生成新的事物，導(dǎo)致該內(nèi)容和原本畫(huà)面的不匹配，造成畫(huà)面突變
3. 首尾幀視頻制作時(shí)，盡量保證畫(huà)面中有相近、相同的元素，并保證一定相似比例，這樣才能在 5s 的過(guò)渡動(dòng)畫(huà)中呈現(xiàn)完整、絲滑的過(guò)渡

二、熱門(mén)產(chǎn)品介紹

1. Luma AI

Luma AI 原本是一家 3D 生成公司，此前前官號(hào)推特上一直在發(fā)布 3D 模型相關(guān)信息，6 月突然推出了 AI 視頻生成產(chǎn)品 Dream Machine，在那個(gè)時(shí)間節(jié)點(diǎn)上，Runway、Pika 遲遲未發(fā)布新模型，Sora 遙不可及，Luma AI 可謂是橫空出世。

在海外獨(dú)角獸的采訪中，Luma 首席科學(xué)家表示團(tuán)隊(duì)主要考慮兩種方案來(lái)實(shí)現(xiàn) 4D 生成：一種是圖像生成 3D,再將 3D 動(dòng)畫(huà)轉(zhuǎn)為 4D；一種則是直接生成視頻內(nèi)容，然后將其轉(zhuǎn)為 4D，而 Luma 認(rèn)為后者更具備潛力，并且能一定程度避開(kāi) 3D 數(shù)據(jù)集不足的問(wèn)題，這是 Dream Machine 誕生的原因。

*4D=3D+時(shí)間，即在三維空間中隨時(shí)間變化的對(duì)象或環(huán)境

Luma 視頻生成時(shí)會(huì)關(guān)注一致性；深度信息（例如物體和鏡頭的距離、物體之間的遠(yuǎn)近）；光學(xué)（光的反射折射如何在不同介質(zhì)中變化）；動(dòng)態(tài)的物理現(xiàn)象。

先看看 6 月我用 1.0 模型測(cè)試的效果，img2vid 的能力非常強(qiáng)，能保證大幅度運(yùn)動(dòng)的情況下只有較少瑕疵，原圖還原度也非常好。視頻中每一段都是一次性輸出的：

Dream Machine 1.0 時(shí)期測(cè)試

Dream Machine 支持通過(guò)文本指令和圖像創(chuàng)建高質(zhì)量、逼真的鏡頭，與 Sora 看得見(jiàn)但摸不著的體驗(yàn)相比，Luma AI 為每個(gè)賬號(hào)每月提供 30 次免費(fèi)使用機(jī)會(huì)，但排隊(duì)時(shí)間非常久。

體驗(yàn)地址： https://lumalabs.ai

① 主要功能

Dream Machine 目前功能很簡(jiǎn)單，目前僅支持 txt2vid 文生視頻和 img2vid 圖生視頻兩種能力，除了相機(jī)運(yùn)動(dòng)，另外支持 Extend 延長(zhǎng) 4s、循環(huán)動(dòng)畫(huà)、首尾幀動(dòng)畫(huà)能力。

產(chǎn)品發(fā)布不久后也公布了后續(xù)規(guī)劃：將支持視頻場(chǎng)景修改，尺寸設(shè)置、調(diào)色等功能。

② txt2vid 文生視頻

8 月底最新發(fā)布的 Dream Machine 1.5 增強(qiáng)了提示詞理解能力和視頻生成能力，令我驚訝的是，Luma 對(duì)視頻內(nèi)文字的表現(xiàn)也非常強(qiáng)，這是除 Runway Gen3、海螺 AI 以外的產(chǎn)品目前無(wú)法實(shí)現(xiàn)的效果。

③ img2vid 圖生視頻

前陣子我在對(duì)各個(gè)產(chǎn)品最新模型做測(cè)評(píng)，感慨于 Pika labs 效果很好但過(guò)于模糊，Runway 則總是生成詭異的運(yùn)動(dòng)… 這些產(chǎn)品的表現(xiàn)仿佛都和宣傳片有很大區(qū)別。

而這正是 Luma AI 本次更新中最驚艷的一趴，官網(wǎng)公布的視頻案例并沒(méi)有騙人。其 img2vid 生成效果在多方面遠(yuǎn)超 Pika labs、Runway 等產(chǎn)品，是目前可公開(kāi)體驗(yàn)的 AI 視頻生成領(lǐng)域的王者之一，主要體現(xiàn)在以下方面：

1）生成時(shí)長(zhǎng)較長(zhǎng)（5s），24 幀/s，非常絲滑

2）運(yùn)動(dòng)幅度更大，能產(chǎn)生相機(jī)的多角度位移

提示詞中增加無(wú)人機(jī)控制的視角變化 By: edmondyang

3）運(yùn)動(dòng)過(guò)程中一致性保持的比較好，有時(shí)仿佛圖片變成了 3D 模型

By: monster_library

4）分辨率高，且有效改善了運(yùn)動(dòng)幅度大帶來(lái)的模糊感，這點(diǎn)是 Pika labs 一直以來(lái)困擾我的問(wèn)題。

④ 相機(jī)運(yùn)動(dòng)

Luma 9 月初上線了類似 Animatediff V2 模型中的相機(jī)運(yùn)動(dòng)功能，我非常喜歡這個(gè)功能觸發(fā)地交互，比起增加一個(gè)操作按鈕，Luma 通過(guò) Camera 提示詞觸發(fā)選項(xiàng)。視頻節(jié)奏非常輕松可愛(ài)，值得一看～

⑤ 首尾幀玩法

Luma、Kling 目前都支持輸入開(kāi)始和結(jié)束關(guān)鍵幀生成視頻，用戶可以添加 Prompt 提示內(nèi)容變化以控制視角和主體物運(yùn)動(dòng)。首尾幀功能帶來(lái)了很多新奇的玩法，例如：

1）多張首尾幀相連，可以連接起來(lái)成為一個(gè)更長(zhǎng)的視頻，并且多個(gè)場(chǎng)景的切換有種奇幻感：很多意想不到的事情被聯(lián)系到了一起。

By Nick St. Pierre

2）可以通過(guò)季節(jié)、時(shí)間、環(huán)境、主體物生長(zhǎng)變化呈現(xiàn)延時(shí)拍攝的效果

3）產(chǎn)生意想不到的銜接：

例如從微觀到宏觀的切換、場(chǎng)景之間的切換

4）制作過(guò)渡動(dòng)畫(huà)

雖然沒(méi)有達(dá)到 Keynote 神奇移動(dòng)的效果，現(xiàn)階段用 AI 制作 UI、PPT 動(dòng)畫(huà)也確實(shí)有點(diǎn)大材小用。但能看出 AI 在處理首尾幀動(dòng)畫(huà)時(shí)會(huì)對(duì)前后兩幀中的相同元素產(chǎn)生合理、良好的過(guò)渡效果，而只在尾幀中出現(xiàn)的文字元素“Design Odyssey”的動(dòng)畫(huà)就更多由 AI 自主發(fā)揮了。

未來(lái)如果有產(chǎn)品能增加垂類數(shù)據(jù)訓(xùn)練，設(shè)計(jì)師們也許能夠更輕松地制作 UI、PPT 動(dòng)畫(huà)。

當(dāng)前，Luma 也開(kāi)放了 Dream Machine API 供開(kāi)發(fā)者調(diào)用。

2. Runway

作為最先推出模型的 AI 視頻產(chǎn)品，Runway 目前仍維持著自己的王者地位，在 Luma 等新產(chǎn)品的追擊下，Runway 這半年不斷在模型、產(chǎn)品功能上快速迭代。

Runway 對(duì)產(chǎn)品定位會(huì)更偏向影視、藝術(shù)表達(dá)。在我的測(cè)試中，Runway 更擅長(zhǎng)真實(shí)系、風(fēng)景、空間視頻生成；二次元場(chǎng)景支持不佳（通病），非常容易出現(xiàn)將二次元人物生成真人動(dòng)畫(huà)的現(xiàn)象。

比較特別的是，Runway 支持了綠幕場(chǎng)景生成、視頻綠幕摳像等，這將非常方便影視制作和影視后期對(duì) AIVideo 進(jìn)行二次處理。

這里可以看到 Runway 目前支持的場(chǎng)景和視頻案例： https://runwayml.com/product/use-cases

① Gen-3

7 月更新的 Gen-3，支持 Alpha Turbo （更快速）和 Alpha（更強(qiáng)表現(xiàn)力）兩種模式，增強(qiáng)了對(duì)極度復(fù)雜提示詞描述的理解，對(duì)圖像運(yùn)動(dòng)元素的識(shí)別也有所提升。能夠?qū)崿F(xiàn)富有想象力的過(guò)渡和場(chǎng)景中元素的精確關(guān)鍵幀。

此外還支持設(shè)置圖片作為動(dòng)畫(huà)首幀/尾幀，Gen3 目前還不支持筆刷等高級(jí)調(diào)節(jié)能力。

圖片作為尾幀輸入，更擅長(zhǎng)從無(wú)到有地生成一些元素，下面的水墨畫(huà)是一個(gè)特別好的案例（考慮做成動(dòng)圖）

By Halim Alrasihi

Runway 的單次生成視頻時(shí)長(zhǎng)也達(dá)到了最長(zhǎng) 10s，支持延長(zhǎng)到 40s，達(dá)到當(dāng)下 AI 視頻產(chǎn)品輸出的最大長(zhǎng)度。

此外，Gen-3 Alpha Turbo 還支持了豎屏尺寸視頻生成、加大力度發(fā)力視頻到視頻（風(fēng)格轉(zhuǎn)繪）能力，并表示即將推出更多控制能力。

② 特色功能

上半年，Runway 在 Gen2 模型上推出了較多細(xì)節(jié)控制能力，并且支持精細(xì)數(shù)值調(diào)節(jié)，是當(dāng)下 AI 視頻生成產(chǎn)品中可控性最強(qiáng)的產(chǎn)品。

多筆刷控制局部運(yùn)動(dòng)

支持最多 5 個(gè)筆刷控制，包括物體運(yùn)動(dòng)方向、運(yùn)動(dòng)曲線調(diào)節(jié)。調(diào)高 Ambient，筆刷繪制區(qū)域物體的運(yùn)動(dòng)將和周邊環(huán)境產(chǎn)生更多關(guān)聯(lián)，并加大運(yùn)動(dòng)幅度。

相機(jī)控制

支持水平/垂直平移，水平/垂直翻轉(zhuǎn)，鏡頭縮放/旋轉(zhuǎn)。

最終生成的效果對(duì)比：

Gen3 確實(shí)在清晰度上有較大提升，畫(huà)面想象力更加豐富，無(wú)需復(fù)雜控制僅依靠提示詞就可以得到非常好的結(jié)果。但 Gen2 確實(shí)更適用于對(duì)運(yùn)動(dòng)范圍有精準(zhǔn)控制訴求的場(chǎng)景。

Lip Sync Video

支持文本轉(zhuǎn) TTS 音頻、音頻文件換音，還有上半年大火的 Lip sync video 對(duì)口型能力。

還可以在已經(jīng)生成的視頻下方選擇 Lip Sync 將對(duì)口型和 img2vid 能力結(jié)合起來(lái)，得到嘴形和視頻其他部分都在動(dòng)的自然效果：

不論是工具欄中不斷豐富的音頻、視頻處理能力，還是 Runway Watch 欄目中的優(yōu)秀合作案例，都能看出 Runway 一直堅(jiān)定得在影視制作方向發(fā)展，未來(lái)若能打通 AI 生成和視頻剪輯能力，Runway 未來(lái)將對(duì)影視制作起到至關(guān)重要的作用，成為視頻領(lǐng)域必不可少的重要工具。

3. 快手可靈

今年 6 月，被譽(yù)為國(guó)產(chǎn)之光的 Kling 憑借“讓老照片動(dòng)起來(lái)”、“讓照片中的人擁抱”等多個(gè)熱點(diǎn)在互聯(lián)網(wǎng)爆火。并憑借高質(zhì)量視頻效果、極低的價(jià)格和良心的免費(fèi)額度狠狠刷了一波好感。9 月更新了 1.5 模型能力，讓視頻的畫(huà)面表現(xiàn)力、提示詞理解能力、畫(huà)面清晰度直接上了一個(gè)臺(tái)階，位列視頻生成產(chǎn)品第一梯隊(duì)。

現(xiàn)階段免費(fèi)用戶每日免費(fèi)享 66 靈感值，1.0 模型生成一次視頻消耗 10 靈感值，1.5 模型則消耗 35 靈感值。付費(fèi)用戶享有 1.5 模型、去水印、高清晰度視頻生成、視頻延長(zhǎng)能力、大師運(yùn)鏡、AI 生圖畫(huà)質(zhì)增強(qiáng)能力。

移動(dòng)端 APP：快影

網(wǎng)頁(yè)版訪問(wèn)： https://klingai.kuaishou.com/

使用指南： https://docs.qingque.cn/d/home/eZQDKi7uTmtUr3iXnALzw6vxp#section=h.j6c40npi1fan

傳統(tǒng) txt2vid、img2vid 以外，Kling 還支持首尾幀控制、延長(zhǎng)視頻、對(duì)口型能力。

txt2vid 模式下支持運(yùn)鏡控制，普通用戶可使用水平/垂直運(yùn)鏡、推進(jìn)/拉遠(yuǎn)、垂直/水平搖鏡；另有四種大師運(yùn)鏡很有意思，僅付費(fèi)用戶可用。

9 月中，Kling 在 1.0 模型中增加了運(yùn)動(dòng)筆刷控制。

此次更新的 1.5 模型能力在畫(huà)面表現(xiàn)力、提示詞理解能力上有大幅提升，改善了此前會(huì)將相機(jī)運(yùn)動(dòng)描述當(dāng)作實(shí)物生成的問(wèn)題。但視頻中文本內(nèi)容生成還是做不到，具體案例可在下文中的視頻生成能力測(cè)評(píng)中查看。

在我的評(píng)測(cè)中，可靈的優(yōu)勢(shì)在于運(yùn)動(dòng)幅度較大，能產(chǎn)生一些驚喜效果（這點(diǎn)類似 Luma，在 img2vid 中甚至優(yōu)于 Runway）。但是在視頻清晰度、語(yǔ)義理解、畫(huà)面表現(xiàn)力上，Kling 1.0 都比 Runway、Luma 的最新模型弱很多。但 1.5 進(jìn)步非常明顯，達(dá)到了我心中付費(fèi)產(chǎn)品的水平。

4. 即夢(mèng) AI

9 月 24 日，字節(jié)發(fā)布了 PixelDance、Seaweed 兩款視頻 AI 模型，從官方 Demo 看，兩款模型對(duì)長(zhǎng)提示詞，人物連續(xù)動(dòng)作轉(zhuǎn)變、多鏡頭組合、人物一致性的支持非常好。將有望成為國(guó)產(chǎn) AI 頭部核心競(jìng)爭(zhēng)者。目前產(chǎn)品還在開(kāi)放內(nèi)測(cè)申請(qǐng)中。

網(wǎng)頁(yè)版訪問(wèn)： https://jimeng.jianying.com/ai-tool/home/

內(nèi)測(cè)申請(qǐng)： https://bit.ly/jimengai

5. 海螺 AI

MiniMax 出品，出場(chǎng)視頻演示非常驚艷，簡(jiǎn)單測(cè)試下來(lái)發(fā)現(xiàn)畫(huà)面清晰度、畫(huà)面表現(xiàn)力等均好過(guò)可靈 1.0。在近期的 Vbench 排行榜中，海螺也獲得了 16 個(gè)維度綜合評(píng)分第一名。

目前僅支持 txt2vid 方案。網(wǎng)頁(yè)版訪問(wèn)： https://hailuoai.com/video

6. 通義萬(wàn)相

阿里云旗下產(chǎn)品，上半年有多個(gè)現(xiàn)象級(jí)案例刷屏，例如奶牛貓?zhí)丛栉?、全民跳科目三（這些功能在通義千問(wèn) APP 中可以找到）。9 月剛開(kāi)放了視頻生成產(chǎn)品的預(yù)約，一次視頻生成需要 10min，測(cè)試了下生成效果一般般。

網(wǎng)頁(yè)版訪問(wèn)： https://tongyi.aliyun.com/

移動(dòng)端下載：通義 APP

7. Pika labs

23 年 Pika 一直是我心中 img 直出視頻的王者，在二次元平面畫(huà)風(fēng)上的表現(xiàn)很好。24 年 2 月也在業(yè)內(nèi)掀起了一波浪潮，率先推出了風(fēng)格選擇、視頻尺寸裁切、Lip Sync、延長(zhǎng)視頻等功能。但此后至今半年都不再有明顯的動(dòng)作。在上半年 Luma、Runway 的頻繁更新后，Pika 清晰度差的問(wèn)題愈發(fā)顯著了（Topaz AI 高清都很難拯救的那種），產(chǎn)出的視頻無(wú)法滿足工作場(chǎng)景的質(zhì)量要求。

8. Pika 工作臺(tái)

10 月初，Pika 更新了 1.5 模型，擁有更逼真的動(dòng)作、更清晰的分辨率。主打 Pikaffects 效果，支持生成爆炸、融化、膨脹、擠壓、壓碎、蛋糕化效果，輸出非常穩(wěn)定，也能符合基本物理規(guī)律。

Pika 目前處于落后態(tài)勢(shì)，下一步必須拿出一個(gè)更加炸裂的視頻模型出來(lái)，否則很難在眾多視頻生成產(chǎn)品中脫穎而出。

6 月制作的 Pika vs Luma 1.0 模型 差距太大

9. Pixverse

這是一款由中國(guó)公司開(kāi)發(fā)的 AI 視頻產(chǎn)品，創(chuàng)始人是前字節(jié)跳動(dòng) AI Lab 視覺(jué)技術(shù)負(fù)責(zé)人，于今年 1 月推出了網(wǎng)頁(yè)版，8 月底更新了 2.5 模型。目前新用戶有 200 免費(fèi)積分，可以生成 20 個(gè)視頻。

體驗(yàn)地址： https://app.pixverse.ai/

① 特色功能

筆刷+運(yùn)動(dòng)方向控制

能自動(dòng)識(shí)別畫(huà)面中的元素

img2vid 的整體能力和 Runway 差異不大，但 Pixverse 比較有特色的一個(gè)小功能是在筆刷涂抹運(yùn)動(dòng)區(qū)域后還可以控制運(yùn)動(dòng)方向。

生成后的效果：

但比起 Luma，Pixverse 生成視頻的分辨率太低了，會(huì)在原圖片尺寸上做壓縮。

② 人物一致性

Pixverse 的另一個(gè)特色功能是 Character to video，只需要一張圖片就可以生成該形象的視頻，目前只支持真實(shí)風(fēng)格，且視頻內(nèi)容是 txt2vid 控制的。我猜測(cè)這大概率是基于 Comfyui 搭建的能力打包。

By：Proper

10. 動(dòng)漫案例制作

現(xiàn)階段 AI 視頻產(chǎn)品在真實(shí)系視頻生成上的效果有了飛速進(jìn)步，但在偏平面的漫畫(huà)風(fēng)格上還缺乏訓(xùn)練數(shù)據(jù)，畫(huà)面中的可運(yùn)動(dòng)元素也比較難被判斷，因此使用 img2vid 比較難產(chǎn)出合適的動(dòng)畫(huà)，動(dòng)畫(huà)幅度較大時(shí)很難保證前后一致性。

嘗試做了一個(gè)黑白漫畫(huà)畫(huà)風(fēng)動(dòng)畫(huà)，使用了 Luma AI 作為主力，Runway、Pixverse、SVD 等工具作為輔助產(chǎn)出。事實(shí)證明 Luma 在清晰度和運(yùn)動(dòng)幅度上都是目前可用的 AI 視頻工具中最好的。視頻 00:07 光的鏡頭，00:15 人物大幅度運(yùn)球都是 Luma 生成的，雖有較大瑕疵，但也算意外之喜。

① 部分效果制作過(guò)程展示

其中有幾個(gè)鏡頭用到了首尾幀生成視頻能力。在圖片生成的過(guò)程中，我通過(guò) MJ 局部繪畫(huà)、PS 進(jìn)行圖片細(xì)節(jié)微調(diào)。

Midjourney 局部重繪 + PS 簡(jiǎn)單處理

接下來(lái)我對(duì) Luma AI、可靈 1.0、Krea、Toon Crafter 的首尾幀動(dòng)畫(huà)進(jìn)行測(cè)試，在少量抽卡后選擇表現(xiàn)最好的效果進(jìn)行對(duì)比：

Luma 更接近提示詞，Kling 1.0 運(yùn)動(dòng)幅度大。

Krea 的效果 著實(shí)不太行，很難保證一致性。Toon Crafter（ComfyUI）清晰度實(shí)在太差，運(yùn)行時(shí)對(duì)設(shè)備要求也過(guò)高，也沒(méi)有繼續(xù)迭代維護(hù)，建議大家不要嘗試了。

另外在處理首尾幀動(dòng)畫(huà)時(shí)，首尾兩幀之間可運(yùn)動(dòng)元素少、首尾間變化少，會(huì)導(dǎo)致可運(yùn)動(dòng)時(shí)長(zhǎng)不夠，最后畫(huà)面中反而出現(xiàn)很多意料之外的動(dòng)畫(huà)。最終這里我用了 Pixverse 的筆刷+運(yùn)動(dòng)方向控制實(shí)現(xiàn)效果。（當(dāng)時(shí) kling 還沒(méi)有更新筆刷能力）

SVD（ComfyUI）適合運(yùn)動(dòng)幅度較小的場(chǎng)景，可以通過(guò)后期放大、插幀得到不錯(cuò)的效果，就是對(duì)平面風(fēng)格動(dòng)畫(huà)支持度一般，使用起來(lái)也有些門(mén)檻。

動(dòng)漫算是視頻生成非常小眾的賽道，但這半年工作、個(gè)人興趣方向上都在這個(gè)方向持續(xù)探索，希望有一天一些產(chǎn)品模型能夠針對(duì)動(dòng)漫場(chǎng)景訓(xùn)練，有機(jī)會(huì)重制這個(gè)視頻。

三、其他值得關(guān)注的產(chǎn)品

除了致力于視頻生成模型的頭部產(chǎn)品，市場(chǎng)上還有一批產(chǎn)品致力于將類似 Animatediff 視頻轉(zhuǎn)繪制能力落地，因操作簡(jiǎn)單，無(wú)需研究復(fù)雜工作流、效果穩(wěn)定受到廣泛歡迎，這些產(chǎn)品還熱衷于打造對(duì)口型、等實(shí)用功能，支持的功能都曾在國(guó)內(nèi)外掀起多次大規(guī)模傳播。

代表產(chǎn)品有：Krea AI、Viggle AI、Domo AI、Goenhance AI。

1. Krea AI

Krea 于 23 年 12 月上線，是目前開(kāi)源社區(qū)方案產(chǎn)品化封裝做的非常好的產(chǎn)品。Krea 致力于將開(kāi)源社區(qū)中流行的模型能力快速產(chǎn)品化，通過(guò)大幅降低工作流搭建成本、模型下載成本、硬件設(shè)備要求吸引用戶。

從 Krea 首頁(yè)可以看到主打功能有實(shí)時(shí)繪畫(huà)、圖片生成（最新上線了 Flux 模型，跟進(jìn)速度非?？欤?、視頻生成、圖片視頻高清化四個(gè)方向，憑借快速反應(yīng)市場(chǎng)熱點(diǎn)持續(xù)增長(zhǎng)。

網(wǎng)頁(yè)版訪問(wèn)： https://www.krea.ai/home

官方推特： https://x.com/krea_ai

Krea 官網(wǎng)設(shè)計(jì)非常 Framer 社區(qū)的風(fēng)格，值得一看

① 實(shí)時(shí)繪畫(huà)

支持拖入 shapes、images，提示詞輔助控制畫(huà)面，還能夠配合 Style 選擇、Style 權(quán)重、AI 權(quán)重等維度調(diào)整，整體交互都做的非常好。你也可以通過(guò)手繪更精確地控制畫(huà)面。

視頻經(jīng)過(guò)加速處理

② 視頻生成

進(jìn)入 Generate 模塊，可以在 Keyframes 軌道插入/生成任意圖片，也可以留空，通過(guò) txt 控制視頻生成。除了首尾幀，用戶可以在任意秒數(shù)插入任意圖片，自由度很高。

每張圖片還支持拖拽設(shè)置關(guān)鍵幀強(qiáng)度，只可惜視頻生成效果比較一般，很難保證風(fēng)格一致性。

③ 視頻高清化

輸入視頻，Krea 會(huì)自動(dòng)根據(jù)視頻內(nèi)容反推 prompt，幾分鐘后便可以得到結(jié)果，效果還行（水波紋變得更明顯了），頁(yè)面提供了視頻前后對(duì)比（Krea 的交互做的是真好）

④ 超級(jí)慢動(dòng)作

在 Enhance 模塊，還可以通過(guò)補(bǔ)幀、視頻變速來(lái)達(dá)到慢動(dòng)作效果。比如上述動(dòng)畫(huà)我們覺(jué)得水波紋運(yùn)動(dòng)得太快了，便可以繼續(xù)調(diào)整視頻效果。該效果還適用于花朵綻放、液體飛濺、動(dòng)作細(xì)節(jié)展示等場(chǎng)景。

Krea 值得夸贊的除了極快的熱點(diǎn)功能跟進(jìn)能力，其交互也非常值得反復(fù)玩味。區(qū)別于其他視頻生成產(chǎn)品采取的點(diǎn)擊選擇交互，Krea 保留了視頻軌道編輯器設(shè)計(jì)，用戶可以任意插入、控制素材，這將為 Krea 未來(lái)在視頻生成、視頻剪輯方向的能力擴(kuò)展留下很大想象空間。

2. ViggleAI

Viggle 由一支 15 人團(tuán)隊(duì)打造，創(chuàng)始人是一位在多家知名公司工作過(guò)的華人 AI 研究員。該產(chǎn)品核心能力是將視頻中的角色替換成其他形象，類似之前介紹過(guò)的 WonderDynamics 和阿里全民舞王。此前小丑模仿說(shuō)唱歌手在夏季音樂(lè)節(jié)上蹦跳的視頻火出了圈，并有多個(gè)視頻在社媒傳播形成了新的 Meme Trend。

Viggle 的視頻工具背后依賴自家訓(xùn)練的 3D 視頻模型「JST-1」，能夠根據(jù)一張角色圖片生成 360 度角色動(dòng)畫(huà)，可以進(jìn)行更可控的視頻生成。

目前 Viggle 支持 Discord 訪問(wèn)和網(wǎng)頁(yè)版訪問(wèn)，Discord 平臺(tái)已經(jīng)積累了超 400w 用戶。

網(wǎng)頁(yè)版訪問(wèn)： https://www.viggle.ai/

官方推特： https://x.com/ViggleAI

① Move：使圖像角色移動(dòng)，原始圖像背景保持不變

和 Mix 的區(qū)別是，該模式更擅長(zhǎng)將特定角色融入到某個(gè)動(dòng)作場(chǎng)景中，大火的小丑視頻可以看出，Viggle 的視頻生成穩(wěn)定性、角色前后一致性非常強(qiáng)。用用戶輸入的新角色覆蓋原有運(yùn)動(dòng)軌跡，并做到了動(dòng)作、表情的高度還原。

By AIWarper

② Mix：將角色圖像混合到動(dòng)態(tài)視頻中

只需上傳一個(gè)包含人物的動(dòng)態(tài)視頻及一張需要替換的角色照片即可，類似的 Multi 功能還支持上傳多個(gè)角色圖片，同時(shí)將多個(gè)角色融入到一個(gè)視頻中，支持選擇綠幕、白色背景，后期空間更大。

我非常喜歡的博主 enigmatic 通過(guò)將蜘蛛俠角色覆蓋到自行拍攝的視頻中，再進(jìn)行綠幕摳像、背景畫(huà)面合成，最終制作出全新的動(dòng)畫(huà)。

By：enigmatic_e

此外，Animate 功能則可以使用預(yù)設(shè)動(dòng)作模板為靜態(tài)角色制作動(dòng)畫(huà)，更全面功能在 Viggle 的 Discord 社區(qū)開(kāi)放使用。

3. DomoAI

該產(chǎn)品主打風(fēng)格轉(zhuǎn)繪，效果十分穩(wěn)定，支持的風(fēng)格基本都曾在互聯(lián)網(wǎng)上掀起浪潮，如動(dòng)畫(huà)風(fēng)、粘土風(fēng)、折紙風(fēng)、像素風(fēng)。此外還支持根據(jù)參考圖切換視頻風(fēng)格（和開(kāi)源模型中 IPAdapter 的能力非常相似）。同類產(chǎn)品還有 Goenhance AI。

目前每個(gè)賬號(hào)僅有 15 個(gè)免費(fèi) credits，僅能生成 3s 視頻。

網(wǎng)頁(yè)版訪問(wèn)： https://domoai.app/

官方推特： https://x.com/DomoAI_

輸入任意一張圖片和視頻，便可以實(shí)現(xiàn)人臉替換、視頻風(fēng)格切換

博主 Framer 曾用 DomoAI 制作過(guò)多個(gè) AI 動(dòng)畫(huà)視頻，通過(guò)人物動(dòng)作拍攝→ Runway 綠幕摳像 → DomoAI轉(zhuǎn)繪 → MJ繪制背景圖→ 分圖層動(dòng)畫(huà)剪輯便能夠快速做出如下效果：

在 AI 技術(shù)還無(wú)法精確生成目標(biāo)動(dòng)作的情況下，實(shí)拍轉(zhuǎn)繪 + 簡(jiǎn)單后期剪輯是更易產(chǎn)出效果的做法。

另外官方發(fā)的這個(gè)視頻我很喜歡，結(jié)合藝術(shù)風(fēng)格，可以有很多更有想象力的探索和表達(dá)：

https://x.com/DomoAI_/status/1808819206403862758

上述產(chǎn)品以外， 在上一篇文章中提到的 HeyGen 和 Opus Clip 是我持續(xù)關(guān)注的產(chǎn)品。比起迎合更多用戶喜好，這兩個(gè)產(chǎn)品從真實(shí)需求出發(fā)，在垂直領(lǐng)域精細(xì)打磨，并持續(xù)獲取用戶增長(zhǎng)。下面來(lái)看看這兩個(gè)產(chǎn)品近半年的一些情況吧。

4. Opus Clip

Opus 專注長(zhǎng)視頻轉(zhuǎn)短視頻場(chǎng)景，通過(guò)自動(dòng)識(shí)別長(zhǎng)視頻中引人注目的精彩片段，將它們提取并重新排列成可傳播的短視頻。這是一款來(lái)自華人創(chuàng)業(yè)者的產(chǎn)品，創(chuàng)始人 Young Z. 22 年疫情期間創(chuàng)業(yè)做了直播相關(guān)產(chǎn)品創(chuàng)業(yè)，在嘗試了多個(gè)失敗的方向后，發(fā)現(xiàn)直播創(chuàng)作者的痛點(diǎn)是數(shù)小時(shí)的直播內(nèi)容并不能被重復(fù)利用，于是 Young Z. 團(tuán)隊(duì)提供了手動(dòng)切片和 AI 剪輯切片能力，才逐漸形成了 Opus 的產(chǎn)品形態(tài)。

Opus 是我看到的視頻生成在具體需求場(chǎng)景落地的最好案例。23 年底，產(chǎn)品在推出 7 個(gè)月后便獲取了 500w 注冊(cè)用戶和 1000w ARR（年度經(jīng)常性收入） 。

網(wǎng)頁(yè)版訪問(wèn)： https://www.opus.pro/

官方推特： https://x.com/OpusClip

Opus 最新支持創(chuàng)作者通過(guò) Prompt 輸入剪輯需求，模型會(huì)對(duì)視頻內(nèi)容進(jìn)行分析。例如輸入提示：“找到我的情緒反應(yīng)”并剪輯

還支持了創(chuàng)作者作品發(fā)布日歷，能夠連接到每個(gè)社交平臺(tái)，同時(shí)查看您已發(fā)布、起草和計(jì)劃發(fā)布的所有內(nèi)容。除了為創(chuàng)作的短視頻進(jìn)行傳播性評(píng)分，Opus 還提供了視頻數(shù)據(jù)分析后臺(tái)全套創(chuàng)作者工具。

Opus 在幫助創(chuàng)作者獲得爆發(fā)性增長(zhǎng)后，還會(huì)持續(xù)在推特公布數(shù)據(jù)，通過(guò)案例背書(shū)吸引創(chuàng)作者用戶形成產(chǎn)品自增長(zhǎng)。

5. HeyGen

這依然是一款來(lái)自華人創(chuàng)業(yè)者的產(chǎn)品，在短短一年多的時(shí)間里，HeyGen 的 ARR 從 100 萬(wàn)美元增長(zhǎng)到 3500 多萬(wàn)美元，這個(gè)由對(duì)口型起家的產(chǎn)品還在一路狂奔。

網(wǎng)頁(yè)版訪問(wèn)： https://app.heygen.com/home

官方推特： https://x.com/HeyGen_Official 、 https://x.com/HeyGenLabs

從 Heygen 的功能方向來(lái)看，其并不滿足于一年前對(duì) Avatar 教學(xué)視頻、知識(shí)新聞視頻生成方向的探索。HeyGen 近期支持了全身動(dòng)態(tài)動(dòng)作。能保持虛擬形象的面部表情和語(yǔ)音語(yǔ)調(diào)同時(shí)動(dòng)態(tài)生成， 效果極其逼真。

通過(guò) URL to Video 功能，你可以輸入一個(gè) Amazon 商品鏈接，無(wú)需真人錄制，自動(dòng)生成產(chǎn)品介紹視頻。 https://app.heygen.com/guest/url2ads

HeyGen 還開(kāi)始探索更逼真的沉浸式對(duì)話如何改變實(shí)時(shí)聊天體驗(yàn)。近期其和 Zoom 合作一個(gè) Beta 功能，用戶在生成了個(gè)人 Avatar 后，可以輸入足夠多的個(gè)人知識(shí)庫(kù)，讓 Avatar 幫助自己完成面試。

在豐富的功能以外，HeyGen 也推出了類似 Opus 的視頻 Highlights 剪輯功能，非常積極得尋找新場(chǎng)景。

四、AI 視頻應(yīng)用場(chǎng)景思考

這半年來(lái)，除傳統(tǒng)的文生視頻、圖生視頻能力迭代外，當(dāng)前的主要技術(shù)發(fā)展還圍繞著通過(guò)轉(zhuǎn)繪改變畫(huà)風(fēng)、視頻內(nèi)人物識(shí)別和替換方向。

五、AI 視頻 Prompt 撰寫(xiě)參考

在測(cè)試 AI 視頻產(chǎn)品模型 txt2vid，img2vid 能力時(shí)，我通常會(huì)基于以下結(jié)構(gòu)撰寫(xiě)提示詞

你也可以參考以下內(nèi)容對(duì)提示詞進(jìn)行豐富：

當(dāng)然，也可以讓 Claude 等大模型幫助我們撰寫(xiě)提示詞，這里是輸入給語(yǔ)言模型的 Prompt，你可以基于此進(jìn)行修改：

“我正在測(cè)試 Runway、Luma 等視頻生成產(chǎn)品對(duì)文本的語(yǔ)義理解能力和視頻生成效果，現(xiàn)在需要你幫我寫(xiě)幾段提示詞。提示詞需要滿足：主體物 + 場(chǎng)景 + 運(yùn)動(dòng)內(nèi)容 + 相機(jī)視角 + 氛圍描述的基本內(nèi)容描寫(xiě)，請(qǐng)分別給出中英文提示詞內(nèi)容?！?/p>

結(jié)語(yǔ)

今年最大的感受是 AI 技術(shù)進(jìn)步越來(lái)越快 ，幾乎每隔幾天都會(huì)刷新一次新模型、產(chǎn)品能力的認(rèn)知。

目前圖像、視頻生成解決的主要問(wèn)題還是素材生產(chǎn)，各家產(chǎn)品還在卷數(shù)據(jù)集、模型能力，卷生成的質(zhì)量、速度。比起單一素材的生產(chǎn)、創(chuàng)意表達(dá)，我會(huì)更關(guān)注可以工業(yè)化的機(jī)會(huì)，因?yàn)檫@里蘊(yùn)含的產(chǎn)品化可能性更高。上半年我將大部分業(yè)余精力都投入在了 ComfyUI 的學(xué)習(xí)上，6 月也小小實(shí)踐了一下將一批 AI 工業(yè)化生產(chǎn)的內(nèi)容落地上線。但素材生產(chǎn)的需求不是每個(gè) C 端產(chǎn)品都有，機(jī)會(huì)可遇不可求。想打磨好一個(gè) AI 功能。每個(gè)具體 case 其實(shí)都需要團(tuán)隊(duì)從模型到技術(shù)方案、生產(chǎn)流程、參數(shù)細(xì)節(jié)精心打磨，需要環(huán)境給予耐心，AI 并不像媒體每天喊的那樣顛覆顛覆，其滲透到用戶的日常使用消費(fèi)中，還需要各個(gè)團(tuán)隊(duì)沉下心來(lái)投入大量時(shí)間。

經(jīng)過(guò)上半年的學(xué)習(xí)實(shí)踐，我也愈發(fā)感受到 AI 對(duì)使用者綜合能力的要求，能做出優(yōu)秀作品的總是那些原本就在某個(gè)行業(yè)處于頭部的人。在技術(shù)還在快速刷新的時(shí)期，AI 產(chǎn)品的學(xué)習(xí)難度還在持續(xù)提升，隨著產(chǎn)品能力愈來(lái)愈強(qiáng)，行業(yè)出現(xiàn)了更多對(duì)技術(shù)能力綜合使用，去解決更復(fù)雜的問(wèn)題的案例。