大家好，這里是和你們一起探索 AI 的花生。

自 OpenAI 發(fā)布 Sora，將文生視頻拉高到一個(gè)新的高度后，各家 AI 視頻工具都在努力升級(jí)模型、添加新功能，以期在這場(chǎng)競(jìng)賽中保住自己的一席之地，比如 Pika 已經(jīng)推出了風(fēng)格選擇、視頻配音、唇形一致等多種功能，Vidu、Kling 則是類(lèi) Sora 的新模型，在生成效果上已經(jīng)十分接近 Sora。而曾經(jīng)的領(lǐng)軍產(chǎn)品 Runway 卻始終都沒(méi)有什么動(dòng)靜，因此很多人都在擔(dān)心它未來(lái)的發(fā)展。

最近 Runway 終于放出大招，發(fā)布了第三代模型 Gen-3 Alpha，它各方面的表現(xiàn)都與 Sora 極為接近，甚至可以說(shuō)是不分上下。如果說(shuō)前兩天上線的 Dream Machine 秒殺 Runway Gen-2，那么這個(gè)新模型則足以反過(guò)來(lái)秒殺 Dream Machine，讓人不得不感嘆 AI 模型競(jìng)爭(zhēng)之激烈。今天就帶我們?cè)敿?xì)了解一下 Gen-3 Alpha 的功能與特點(diǎn)。

Runway 上一代模型 Gen-2:

一、Gen-3 Alpha 簡(jiǎn)介

Runway 官網(wǎng)： https://app.runwayml.com/ （Gen-3 將在未來(lái)幾天開(kāi)放）

不同于之前的 Gen-1 和 Gen-2 模型，此次的 Gen-3 Alpha 是一個(gè)全新的視頻生成基礎(chǔ)模型。它在視頻和圖像數(shù)據(jù)上進(jìn)行了聯(lián)合訓(xùn)練，不僅具備文本生成視頻能力，同時(shí)也可以實(shí)現(xiàn)文本到圖像和圖像到視頻，這一點(diǎn)和 Sora 是一樣的。

與 Gen-2 相比，Gen-3 Alpha 在保真度、一致性和運(yùn)動(dòng)方面有了重大改進(jìn)。雖然目前只能生成最長(zhǎng) 10s 的視頻，但是在視頻清晰度、細(xì)節(jié)豐富度、動(dòng)態(tài)流暢度、對(duì)提示詞的理解和鏡頭運(yùn)動(dòng)等方面已經(jīng)完全到達(dá)了 Sora 的級(jí)別，光憑肉眼已經(jīng)很難區(qū)分其與現(xiàn)實(shí)的區(qū)別。

Runway Gen-3 Alpha 與 Gen-2、DreamMachine 效果對(duì)比

尤其是在人物生成上，不僅角色形象、動(dòng)態(tài)非常自然，還可以精準(zhǔn)呈現(xiàn)手部動(dòng)作和面部表情的變化。角色形象的一致性也很穩(wěn)定，即使有大幅度的動(dòng)作，臉部和身體也不會(huì)扭曲變形，這是目前大部分模型都無(wú)法做到的。有了這個(gè)基礎(chǔ)，我們就能通過(guò)人物實(shí)現(xiàn)更細(xì)膩準(zhǔn)確的內(nèi)容傳達(dá)，這對(duì)提升 AI 視頻質(zhì)量非常重要。

Prompt: A middle-aged sad bald man becomes happy as a wig of curly hair and sunglasses fall suddenly on his head.

提示詞：一個(gè)中年悲傷的禿頂男人突然戴上了一頂卷曲假發(fā)和太陽(yáng)鏡，變得快樂(lè)起來(lái)。

Prompt: A man standing in front of a burning building giving the 'thumbs up' sign.

提示詞：一個(gè)男人站在燃燒的大樓前做出“豎起大拇指”的手勢(shì)。

而且 Gen-3 Alpha 也和 Sora 一樣，能在一定程度上理解物理世界的運(yùn)行規(guī)律并進(jìn)行模仿。比如火車(chē)行駛過(guò)程中，人物面部光影會(huì)隨窗外的場(chǎng)景發(fā)生變化；生成繪畫(huà)場(chǎng)景的時(shí)候，畫(huà)筆會(huì)在紙面留下痕跡等。這也能證明 Runway 的新模型具備與 OpenAI Sora 同等的能力。

Prompt: Subtle reflections of a woman on the window of a train moving at hyper-speed in a Japanese city.

提示詞：一個(gè)女人在日本城市高速行駛的火車(chē)窗戶(hù)上的微妙倒影。

二、藝術(shù)內(nèi)容生成能力

除了模仿現(xiàn)實(shí)內(nèi)容，Gen-3 Alph 還有生成風(fēng)格化視頻和奇幻內(nèi)容的能力。

僅目前已經(jīng)展示出的風(fēng)格就有水彩、動(dòng)漫，賽博朋克、電子故障等，質(zhì)量都非常不錯(cuò)；而 “棉花糖巨人在咆哮”、“混泥土地面長(zhǎng)出植物”、“玻璃碎片旋風(fēng)席卷小巷” 這些原本需要特效才能制作的畫(huà)面，現(xiàn)在僅憑文本就能生成。對(duì)視頻創(chuàng)作者來(lái)說(shuō)，這樣既能擴(kuò)大創(chuàng)作范圍，也是提升效率、降低成本的有效方式。

Prompt: A Japanese animated film of a young woman standing on a ship and looking back at camera.

提示詞：一個(gè)日本動(dòng)畫(huà)電影中，一位年輕女子站在船上，回頭看向鏡頭。

Prompt: An empty warehouse where flowers start blooming from the concrete.
提示：一個(gè)空蕩蕩的倉(cāng)庫(kù)，鮮花開(kāi)始從混凝土中綻放。

三、英文文本動(dòng)態(tài)呈現(xiàn)

英文文本動(dòng)態(tài)呈現(xiàn)應(yīng)該是 Gen-3 Alpha 最令人驚喜和期待的一點(diǎn)了。雖然官網(wǎng)上沒(méi)有相關(guān)的展示，但 Runway 聯(lián)合創(chuàng)始人 Cristóbal Valenzuela 在推特上一口氣放出了十幾條相關(guān)示例，每一個(gè)示例的場(chǎng)景、字體、材質(zhì)、動(dòng)態(tài)效果都不一樣，顯示出高度的靈活性和可控性，質(zhì)量之高直接拿來(lái)做視頻片頭都沒(méi)有問(wèn)題。不過(guò)目前還不確定這種效果是文本直接生成的，還是通過(guò)圖像生成的。

四、精準(zhǔn)控制與高級(jí)編輯功能

據(jù)官方介紹，Gen-3 Alpha 通過(guò)訓(xùn)練學(xué)習(xí)了大量具有時(shí)間序列信息的描述性字幕，因此在處理用戶(hù)提示詞的時(shí)候，能夠?qū)崿F(xiàn)場(chǎng)景中元素的想象性過(guò)渡和精確的關(guān)鍵幀設(shè)定。

比如它可以從海面絲滑過(guò)渡到一個(gè)火焰場(chǎng)景，前面的 “混凝土長(zhǎng)出植物” 可能也是通過(guò)這種能力實(shí)現(xiàn)的；而上面動(dòng)態(tài)文本的效果，我覺(jué)得可能是上傳了一張包含文本的圖像做為關(guān)鍵幀，然后借助 Gen-3 Alpha 強(qiáng)大的過(guò)渡能力來(lái)向前生成動(dòng)態(tài)，而非直接用文本生成。

Prompt: Aerial shot of the ocean.a maelstrom forms in the water swirling around until itreveals the fiery depths below.

提示：海洋的航拍。一個(gè)漩渦在水中形成，旋轉(zhuǎn)著，直到它露出下面熾熱的深處,

Runway 已有的視頻控制功能，包括運(yùn)動(dòng)畫(huà)筆 (Motion Brush)、鏡頭運(yùn)動(dòng)控制（CameraControls）等在 Gen-3 Alpha 模型中依舊可以使用，而且還會(huì)有一些新的功能推出，幫助用戶(hù)對(duì)結(jié)構(gòu)、風(fēng)格和運(yùn)動(dòng)進(jìn)行更精細(xì)控制。此外 官方還表示可以為影視公司創(chuàng)建 Gen-3 的定制版本，指定角色形象和視頻的風(fēng)格等內(nèi)容，以滿(mǎn)足特定的藝術(shù)和敘事需求。

Gen-3 Alpha 將在未來(lái)幾天內(nèi)對(duì)所有人開(kāi)放，這代表與 Sora 同級(jí)別的 AI 視頻生成工具馬上就能被普通用戶(hù)使用了，而 AI 視頻創(chuàng)作也將進(jìn)入一個(gè)新的階段。最后再推薦大家看一下這個(gè) Runway CEO 發(fā)布的預(yù)告視頻，全部素材都是 Gen-3 Alpha 直接生成的，效果非常震撼，而我們離實(shí)現(xiàn)這種效果也非常近了。

那么以上就是本期為大家推薦最新 AI 視頻生成模型 Gen-3 Alpha 的相關(guān)內(nèi)容。想了解更多 AI 新鮮資訊的話(huà)，歡迎關(guān)注 「優(yōu)設(shè) AI 自學(xué)網(wǎng)」 和「優(yōu)設(shè)微信視頻號(hào)」，每天都會(huì)分享最新的 AIGC 資訊和神器，讓你輕松掌握 AI 發(fā)展動(dòng)態(tài)。也歡迎大家掃描下方的二維碼加入“優(yōu)設(shè) AI 知識(shí)交流群”，和我及其他設(shè)計(jì)師一起交流學(xué)習(xí) AI 知識(shí)~

另外我的最新課程《AI 視頻零基礎(chǔ)系統(tǒng)入門(mén)》已經(jīng)上線了，對(duì) AI 視頻感興趣的小伙伴不要錯(cuò)過(guò)。課程內(nèi)容包括：

從文生視頻、圖生視頻、視頻生成視頻、數(shù)字人視頻 4 個(gè)方面，系統(tǒng)全面地帶你了解目前主流的 AI 視頻制作方式以及優(yōu)缺點(diǎn)；

1. 十余種熱門(mén) AI 視頻生成神器用法詳解，輕松掌握大神同款工具；
2. 附贈(zèng)課程專(zhuān)屬工具清單，收錄了近 300 款 AI 視頻、音頻、文案神器，全面賦能 AI 視頻創(chuàng)作
3. 高質(zhì)量免費(fèi)自學(xué)資源、最新 AI 視頻資訊獲取渠道全分享

參考資料：

1. https://x.com/c_valenzuelab/status/1803063105150128264
2. https://runwayml.com/blog/introducing-gen-3-alpha/
3. https://x.com/i/status/1802791184286282058
4. https://x.com/ProperPrompter/status/1802718077878153519

推薦閱讀：