備注：這篇文章寫于 Veo3 發(fā)布前夕

自 24 年 H2 開始，AI 視頻行業(yè)以周為單位高速發(fā)展，GenLumio 是我從 24 年開始 0-1 規(guī)劃 - 設(shè)計 - 開發(fā)的 AI 視頻項目，旨在為大家?guī)砻恐茏钚迈r的 AI 視頻優(yōu)秀作品、產(chǎn)品動向。

我計劃通過這個系列的文章選取新鮮產(chǎn)品動向、優(yōu)質(zhì)作品案例為大家介紹。

上期資訊合集：

一、AI 視頻模型 & 產(chǎn)品主要更新

Runway

Runway 發(fā)布了 Gen-4 文本轉(zhuǎn)圖像及圖片 References 功能，測試案例達(dá)到了令人吃驚的地步 —— 可以通過添加結(jié)構(gòu)參考圖，將主體物可以置于參考場景中，同時可通過Prompt控制新的攝像機角度、構(gòu)圖、角色造型等細(xì)節(jié)?；旌虾蟮男聢D片中，有非常適宜的燈光、陰影和構(gòu)圖效果，甚至能識別簡單的構(gòu)圖標(biāo)注進行圖像生成。同時也支持對圖片風(fēng)格進行參考。

該功能可以用于主體物多角度一致性、綠幕圖生成、甚至 3D 模型在不同場景的渲染，以下是一些案例：

該能力可以快速實現(xiàn) 3D 白模在不同場景的渲染

這里值得一提的是 Runway 參考圖片引用的交互方式，就像@某個人那樣，你可以通過@來引用需要參考的圖像，來替代在歷史圖片庫中查找。

Veo2 可以免費體驗了

Veo2 的體驗入口終于被我找到了，Google 的產(chǎn)品入口比較分散，交互體驗也很一般，但這不影響我對 Veo2 模型能力的贊美之情。Veo2 支持生成 8s 視頻，并且可以上傳圖片體驗 I2V，測了幾條感覺 T2V 的效果是真不錯，I2V 的部分案例非常驚艷，提示詞遵循能力做的很好，絕對是當(dāng)下第一梯隊的模型能力。例如這個籃球進入籃筐的鏡頭，我測試過世面上大部分模型只有 Veo2 干凈利落的成功了。

現(xiàn)在每日可以免費生成幾個無水印視頻，日常需求已足夠：https://aistudio.google.com/generate-video

Pixverse

剛剛更新了 4.5 模型，更新了 20+ 攝像機控制功能、多元素參考和融合，并且模型價格相比 4.0 降低了一些，但比起其他產(chǎn)品還是偏貴的，效果也不在第一梯隊，就不過多介紹了。

HeyGen

HeyGen 近期進行了產(chǎn)品大幅更新。真實人物、寵物、插畫都可以生成對口型視頻，除了對口型的準(zhǔn)確度提高，另外還支持了多角度對口型：側(cè)面、仰視視角都可以生成。嘴巴以外，人物的面部肌肉有自然的運動，看了一些案例，通常人物的手部、整體畫面也有輕微運動，但如果這樣的運動可以更多，再配合一些鏡頭移動效果，視頻的真實感會得到極大提升。

使用 HeyGen 制作音樂 MV

其中語音鏡像功能很有趣，AI 可以模仿你輸入的真實音調(diào)、語調(diào)和節(jié)奏，并且匹配對應(yīng)口型，這個功能極大提高了視頻制作的可控性。

HeyGen 語音鏡像

另外推薦一則 HeyGen 制作的創(chuàng)意短片。

visiblemakers 使用 HeyGen 制作的短片

新產(chǎn)品

① Pippit 字節(jié)電商營銷新產(chǎn)品

繼去年寫過 HeyGen、Opus Clip 之后，在 AI 視頻進展中還沒有提過電商營銷新產(chǎn)品，近期 Capcut 背后的新產(chǎn)品 Pippit 在 Product Hunt 登頂，提供的能力非常豐富。

我輸入了 GenLumio 的網(wǎng)頁鏈接，消耗 120 積分讓 Pippit 幫我的網(wǎng)站制作視頻，Pippit 一次性生成了 10 條視頻，看上去每條視頻的數(shù)字人語氣都真的像那么回事的。只是在爬取了網(wǎng)頁信息后，AI 撰寫的文本對 GenLumio 的功能進行了夸大，產(chǎn)品介紹文本基本沒法用，需要后期人工調(diào)整。

同時，該領(lǐng)域還有 Creatify、Captions 值得關(guān)注。

② Medeo

一款 AI 視頻剪輯的 Agent 產(chǎn)品，支持輸入 URL、文章、文件內(nèi)容進行視頻生成。

我先是輸入了此前 AI Coding 的文章和 GenLumio 網(wǎng)站進行測試。和 Pippit 不同，Medeo 并沒有使用文章或者網(wǎng)頁中的相關(guān)資源，而是通過對內(nèi)容進行一定總結(jié)后生成了一段總結(jié)性文本，并且根據(jù)內(nèi)容生成了圖片，再進行圖生視頻。生成的效果有點像科普風(fēng)（也可能和我的內(nèi)容有關(guān)），如果想要建立有特色的個人賬號，可能還是要花一些功夫，但是對一些新聞科普、小說故事劇情講解視頻來說，這種快速低成本制作出來的視頻已經(jīng)夠用了。

下面的視頻分別是讓 Medeo 生成間諜過家家動漫介紹短片；對 AI Coding 文章進行總結(jié)，在短視頻平臺介紹我的 AI Coding 經(jīng)驗：

交互上 Medeo 提交 Prompt 后會直接消耗大額積分進行視頻生成，生成視頻中的文本也和輸入 Prompt 的語言匹配，這點前置感知也非常不強烈。Medeo 缺乏了 Gemini、Lovart 等產(chǎn)品分布完成或主動確認(rèn)任務(wù)的可控感。如果在執(zhí)行幾十秒視頻生成的復(fù)雜任務(wù)前，事先進行任務(wù)理解、偏好詢問，并對生圖、文案進行分步確認(rèn)，會讓結(jié)果更具備可控性。

Gemini 和 Lovart 的確認(rèn)過程

感興趣的朋友可以試用，每個賬號可免費生成一次： https://ai.medeo.app

③ Ponder

一個即將發(fā)布的 AI 視頻編輯器，可以通過 Prompt 命令對原始拍攝素材進行 AI 剪輯

這里加入 waitlist： https://ponder.ai/

二、最新優(yōu)秀案例

動漫短片

傳統(tǒng)動畫師使用 Runway 做了非常優(yōu)秀的動畫劇集《Mars and Siv. 》，現(xiàn)推出了第一集。整體風(fēng)格創(chuàng)作模仿了小時候的動畫片，分鏡、角色設(shè)計和場景建模均由傳統(tǒng)流程中的人工完成，通過 Runway 對渲染圖進行連貫動畫生成，然后刻意抽取中間幀，做成了定格效果。

文章中講述了詳細(xì)創(chuàng)作過程： https://runwayml.com/customers/the-making-of-mars-and-siv

視頻中很多畫面采取了分角色生成+綠幕合成的制作：

再次被 yachimat 的作品驚艷到，不論畫面美感、配音、BGM、動畫效果都是日漫風(fēng)格創(chuàng)作者中的絕佳了。

敘事短片

來自 Runway CEO Cristóbal Valenzuela 發(fā)表的作品，講述了一只貓在城市中的生活，短片中動物肢體運動協(xié)調(diào)真實，鏡頭跟隨貓咪進入不同場景，鏡頭切換非常自然。

廣告片兩則

來自汗青團隊的新作（創(chuàng)意真的沒有瓶頸），這是一條 Lovart 的廣告片，講述 AI 是如何做夢露的 IP 商業(yè)化設(shè)計的，視頻故事從一次安迪沃霍爾的設(shè)計師面試開始說起。

Snoop Dogg 的作品。由 Dave Meyers 執(zhí)導(dǎo)。攜手 30 多位藝術(shù)家，將傳統(tǒng)藝術(shù)（3D、繪畫等）與 AI 結(jié)合，畫面有一些拼貼藝術(shù)效果。

4 個視頻制作經(jīng)驗分享

來自 Freepik 官方的視頻，這套面部表情的提示效果非常好

來自 Ray (movie arc)分享的案例：Gen-4 提示詞技巧：“視圖突然被四等分，同一鏡頭的不同未來發(fā)生在四個四分之一中”（二等分和“細(xì)分為 X”也有效）

來自 madpencil_分享的案例：上傳一張黑色空白圖片，然后在上面提示任何內(nèi)容，這個技巧幾乎適用于所有平臺，尤其是在像 Gen 4 這樣的模型上：低角度拍攝，攝像機跟蹤一滴清澈的水?dāng)[動并彈跳下來/漂浮/（地點設(shè)置），水滴濺到攝像機鏡頭上，形成了文字“XYZ”。

來自 Cristobal Valenzuela 分享的案例：如果你希望在 Gen-4 中實現(xiàn)有趣的攝像機運動，一個很好的建議是使用如下提示結(jié)構(gòu)：“允許攝像機在整個場景中完全自由地移動，采用動態(tài)技術(shù)，例如俯沖空中運動、戲劇性的俯沖過渡、快速鞭打搖攝和平滑跟蹤”。

三、近期 AI 視頻產(chǎn)品調(diào)研結(jié)論

記錄下近期 AI 視頻產(chǎn)品的觀察結(jié)論：

1. Runway、Luma 等產(chǎn)品這幾個月一直在發(fā)力生圖模型能力，AI Wrapper 忙著把所有模型能力集成在一起。在 AI 生圖、視頻方向上，也許存在定義下一代交互方式的機會，沒有創(chuàng)業(yè)者會不為此心動
2. 主體物參考（畫面內(nèi)容一致性、風(fēng)格遷移）、首尾幀是視頻創(chuàng)作的剛需，前者除了 Veo 和 Sora，其他主流產(chǎn)品幾乎全部支持，后者 Hailuo AI 還沒有補齊
3. 調(diào)研了一圈 AI 視頻模型每秒生成成本，Veo（$0.3/s）以微弱差異高于 Runway Gen4（$0.29/s）成為最貴模型，但 Veo 的效果真的讓人沒話說，Google 在 AI 模型領(lǐng)域的長期發(fā)展還是可期待的。

綜合價格和生成效果來看，Vidu Q1（$0.06/s）依然是動漫領(lǐng)域性價比較高的選擇，和同價格檔位其他產(chǎn)品相比 Q1 可以直出 1080P 畫質(zhì)，近期還推出了升級 2K、4K 能力，生成速度很快，繼續(xù)推薦。

Kling 1.6 720P（$0.04/s）確實是最便宜的模型，偏好真實系方向的朋友可選擇。