自 24 年 H2 開始，AI 視頻行業(yè)以周為單位高速發(fā)展，GenLumio 是我從 24 年開始 0-1 規(guī)劃 - 設(shè)計(jì) - 開發(fā)的 AI 視頻項(xiàng)目，旨在為大家?guī)砻恐茏钚迈r的 AI 視頻優(yōu)秀作品、產(chǎn)品動向。

我計(jì)劃通過這個(gè)系列的文章選取新鮮產(chǎn)品動向、優(yōu)質(zhì)作品案例為大家介紹。

網(wǎng)站1期功能介紹

1. 多維度分類：目前網(wǎng)站已整理出 20 種類別，包括 動漫、敘事短篇、增加元素、風(fēng)格參考、主體物替換、首尾幀、對口型等，涵蓋 AI 視頻技術(shù)的主要應(yīng)用場景。
2. 涵蓋多達(dá) 24 種主流 AI 視頻生成產(chǎn)品及模型：從閉源的 Runway、Kling、Hailuo、Luma、Pika、Pixverse...到開源模型 Wan 2.1、CogVideoX、Live portrait、Animatediff 均有涵蓋
3. 動態(tài)更新：每周持續(xù)收錄高質(zhì)量作品，保持內(nèi)容的前沿性。

品牌命名 & 設(shè)計(jì)理念

Gen 代表 Generative（生成式），是當(dāng)前 AI 領(lǐng)域的核心概念之一。

Lumio 源自 Luminary（發(fā)光體）

整體寓意“生成靈感之光”，希望這一平臺能夠?yàn)?AI 視頻創(chuàng)作者提供展示的平臺，也方便大家了解最新的 AI 視頻產(chǎn)品進(jìn)展。

一、AI 視頻模型 & 產(chǎn)品主要更新

1. Pika

近幾個(gè)月 Pika 動作頗多，在發(fā)布了主體物參考、主體物替換、給視頻中添加元素、情人節(jié)模板等多個(gè)火爆功能后，Pika 模型也進(jìn)入 2.2 時(shí)代。

當(dāng)前生成分辨率升級至 1080p，支持生成 10s 長視頻，并成為行業(yè)內(nèi)第一個(gè)支持 10s 首尾幀功能的模型。

來自 Matt Menendez 的測評案例

目前支持 1080p 分辨率的有 Luma Ray2 和 Pika 2.2 模型；

目前支持首尾幀的產(chǎn)品有 Pika 2.2、Runway、Luma、Kling、Vidu。

2. Wan 2.1 最強(qiáng)開源模型

阿里 Wan 2.1 開源模型，支持 720p、480p 視頻生成。但 Wan 模型對硬件要求極高，自行部署運(yùn)行時(shí)間非常久。經(jīng)過我的測試，可以說是當(dāng)下最好的開源模型沒有之一。非常感人的是，Wan 對于動漫平面風(fēng)格的支持也很好，開源視頻整體迭代較慢，期待今后有又好又快的模型出現(xiàn)。

這里我用 Wan 2.1 和 Luma 最新模型 Ray2 測試了幾個(gè)案例做對比，可以看到 Wan 2.1 有著完全不輸閉源模型的能力：視頻中展示的片段幾乎沒有抽卡：

第二段油畫花朵綻放的效果對語義理解到位，Luma 呈現(xiàn)的效果不佳；但第三段 Luma 準(zhǔn)確理解慢動作鏡頭的指令而 Wan 沒有。

大家如果想體驗(yàn) Wan 的話可以考慮選擇一些云端 All in one 平臺，可以避免自己本地部署開源模型的麻煩，生成速度也更快。這里給大家推薦一款華人團(tuán)隊(duì)的產(chǎn)品 Pollo，集成了最新的 AI 視頻、圖像生成工具。套餐支持梯度定價(jià)，可選擇性非常高。

訪問地址： https://pollo.ai?ref=yti3mjk

一個(gè)賬號可以同時(shí)使用市面上 11 款熱門視頻模型，還是挺香的

3. Luma

Luma 在發(fā)布了驚艷的 Ray2 模型后，更新了視頻匹配聲音、首尾幀、循環(huán)動畫、延長時(shí)間等功能。

同時(shí)推出了新型號 Ray2 Flash，比 Ray2 速度快 3 倍、價(jià)格便宜 3 倍。

4. Pixverse

Pixverse 上線 4.0，其中一個(gè) 3D 效果的視頻模板很有意思。自毒液特效、肌肉特效等爆火后，Pixverse 和 Pika 嘗到了甜頭，都在視頻特效道路上不斷嘗試。

同時(shí)上周 Pixverse 宣布月活突破 1500 萬，注冊用戶達(dá) 4000 萬。

5. Runway

從去年下半年開始 Runway 模型層面沉寂了比較久的時(shí)間，最近比較大的更新是增加了首幀風(fēng)格化能力，通過給模型輸入一張風(fēng)格化圖片，可以實(shí)現(xiàn)視頻整體風(fēng)格轉(zhuǎn)換。

這個(gè)案例出自@Ror_Fly，初始視頻通過 VEO2 I2V 生成，然后通過 Premiere 進(jìn)行像素化 + FPS 降低，通過 Magnific 的結(jié)構(gòu)參考圖像進(jìn)行了首幀風(fēng)格化，最終用 Runway 實(shí)現(xiàn)視頻風(fēng)格化。

二、最新優(yōu)秀案例

1. T2V 短片 - 汗青

Veo2 是 Google 發(fā)布的 T2V 視頻模型，目前在 T2V 方向上擁有獨(dú)一檔的效果，近期能看到越來越多使用 Veo2 T2V 完成的作品。以下作品來自國內(nèi)知名博主汗青工作室

2. 數(shù)字人歌手 MV - 汗青

同樣來自汗青工作室的作品，他們內(nèi)測了本月將在即夢上線的 對口型模型 OmniHuman-1。該模型主要有以下特點(diǎn)：角度包容性高，此前的工具無法支持 90 度純側(cè)面；

精細(xì)還原口型細(xì)節(jié) ，放大后連嘴周圍皮膚和牙齒都清晰可見；

能夠直接識別歌詞并精準(zhǔn)對口，同時(shí)情緒飽滿；

支持多人同唱；

即便人物嘴部較小或存在遮擋，也能自然呈現(xiàn)。

3. Animate 短篇 - yachimat

最近身邊很多朋友問我 Kling 是不是當(dāng)前最好的視頻模型，其實(shí)在動畫領(lǐng)域 Kling 并不驚艷，即 Hailuo 發(fā)布針對動漫場景訓(xùn)練過的 I2V 模型后，當(dāng)前 Vidu2、Luma Ray2 是很多創(chuàng)作者的首選。

這個(gè)視頻出自我非常欣賞的 Animate 類 AI 視頻博主 yachimat - AI Short Anime，以花樣滑冰為背景，講述了天才選手 suketo 與一位聾啞少女克服偏見與嫉妒、通過音樂實(shí)現(xiàn)心靈共鳴的故事。視頻采用 Luma 最新的 Ray2 模型，在復(fù)雜運(yùn)動、影子處理和頭發(fā)動態(tài)表現(xiàn)等高難度場景上取得了突破，展示了 AI 視頻模型在平面風(fēng)格運(yùn)動表現(xiàn)上的全新可能。發(fā)布后迅速吸引了 7 萬瀏覽量。

GenLumio 還另外收錄了幾個(gè)使用 Ray2 模型制作的優(yōu)秀 Animate 作品，感興趣的朋友可訪問網(wǎng)站觀看： https://genlumio.framer.website/

補(bǔ)充了解

這期播客訪談了 Luma AI 唯一的產(chǎn)品經(jīng)理，可以了解到在這樣技術(shù)驅(qū)動的團(tuán)隊(duì)，產(chǎn)品經(jīng)理的職能角色和傳統(tǒng)互聯(lián)網(wǎng)行業(yè)的差異： https://www.xiaoyuzhoufm.com/episode/67bbc5b105a90dfd0d62ff9f

更多案例歡迎訪問我的網(wǎng)站： https://genlumio.framer.website/