大家好，這里是和你們聊設(shè)計(jì)的花生~

近段時(shí)間 AI 工具發(fā)展勢(shì)頭越發(fā)迅猛，在為大家介紹過的 AI 模型中，DALLE·2 和 Midjourney 在文本生成圖像的質(zhì)量和精準(zhǔn)度上有了大幅度優(yōu)化提升，后起之秀 Stable Diffusion 則將 AI 模型的操作門檻降低到普通人都能輕松入門的高度。

除了這些著力發(fā)展文本-圖像（text-image）模型的科技公司，我在 8 月份也向大家概括地介紹過 Google、微軟、Facebook 這些我們熟悉的互聯(lián)網(wǎng)科技巨頭在文本-圖像 AI 模型上的研發(fā)成果，也同樣有不凡的生成功能。

而在短短 2 個(gè)月后的今天，F(xiàn)acebook 和 Google 又發(fā)布了新的文本-視頻（text-video）模型，不禁讓人驚嘆 AI 技術(shù)速度未免太快了些。今天就帶大家一起簡(jiǎn)單了解一下這兩款由科技巨頭推出的 AI 視頻工具 Make-A-Video 和 Imagen Video。

一、Make-A-Video（Meta）

官網(wǎng)： makeavideo.studio （需梯子）

Make-A-Video 是由 Meta AI(Facebook)研發(fā)的一最新的 AI 工具，由創(chuàng)始人馬克·扎格伯格 9 月 29 日在 Facebook 上宣布推出。作用是可以根據(jù)文本描述直接生成視頻，名字則是與 Meta AI 之前推出的文本-圖像模型 Make-A-Scene 保持一致，非常直白。

Make-A-Video 在其官網(wǎng)上展示了大量的演示視頻以說明其功能，包括超現(xiàn)實(shí)的、現(xiàn)實(shí)的和風(fēng)格化 3 種類型。

超現(xiàn)實(shí)：A teddy bear painting a portrait(一只泰迪熊在畫自畫像)

超現(xiàn)實(shí)：Cat watching TV with a remote in hand（手持遙控器的貓?jiān)诳措娨暎?/span>

現(xiàn)實(shí)：Clown fish swimming through the coral reef（小丑魚在珊瑚礁中游泳）

風(fēng)格化：There is a table by a window with sunlight streaming through illuminating a pile of books（窗邊有一張桌子，陽光照射進(jìn)來，照亮了一堆書）

除了可以根據(jù)文本描述生成視頻，Make-A-Video 還可以僅根據(jù)一張圖片就生成視頻、為兩張圖片填充中間的動(dòng)作，以及根據(jù)原有的視頻，生成同樣類型的視屏變體。

將一張靜態(tài)圖片轉(zhuǎn)為視頻：

根據(jù)一個(gè)視頻生成多個(gè)同類型變體：

從官方給出的范例可以看出，Make-A-Video 在整體能很好的將文本描述轉(zhuǎn)化為視頻的樣式，視頻中的主體、動(dòng)作的對(duì)象，動(dòng)作的順序以及運(yùn)動(dòng)方式基本符合正常認(rèn)知。

但同時(shí) AI 生成的視頻也存有明顯的缺陷，比畫面會(huì)出現(xiàn)有不正常的抖動(dòng)和扭曲，動(dòng)作連接不如真實(shí)視頻那樣流暢，一些動(dòng)物的五官出現(xiàn)畸變、動(dòng)作方式怪異（比如貓身上交接了一個(gè)人手），以及視頻的清晰度并不高等。

二、Imagen Video（ Google）

官網(wǎng)地址： research.google （需梯子）

在 Make-A-Video 推出了后僅一周的時(shí)間，Google 就發(fā)布了自己的 AI 視頻擴(kuò)散模型 Imagen Video。

圖片來源：Imagen Video 官網(wǎng)

與 Make-A-Video 相比，Imagen 給人最直觀的感受就是清晰度很高——畫面分辨率可以達(dá)到1280×768（Make-A-Video則為512*512）,幀率則可以達(dá)到24 fps。Imagen Video在其官網(wǎng)展現(xiàn)了很多案例，強(qiáng)烈建議大家去看一下。

Flying through an intense battle between pirate ships in a stormy ocean.（在狂風(fēng)大作的海洋中，飛過海盜船之間的激烈戰(zhàn)斗）

A teddy bear washing dishes（一只洗碗的泰迪熊）

據(jù)官方介紹，Imagen Video 不僅能夠生成高保真度的視頻，還具有高度的可控性和完善的世界知識(shí)，能夠創(chuàng)建不同藝術(shù)風(fēng)格的視頻和文本動(dòng)畫。但和 Make-A-Video 一樣，Imagen Video 也存在畫面不正常抖動(dòng)、主體畸形、動(dòng)作不夠流暢等問題。

A cat eating food out of a bowl, in style of van Gogh（一只貓?jiān)诔酝肜锏氖澄?，梵高的風(fēng)格）

Incredibly detailed science fiction scene set on an alien planet view of amarketplace.Pixel art（令人難以置信的詳細(xì)的科幻場(chǎng)景，設(shè)置在一個(gè)外星球上的市場(chǎng)景觀，像素藝術(shù)）

但如同扎克伯格在其推文中寫到的一樣，AI 模型能從生成靜態(tài)像素發(fā)展到預(yù)測(cè)每個(gè)像素隨著時(shí)間推移發(fā)生的變化，這在技術(shù)上已經(jīng)是一個(gè)突破了。Make-A-Video 發(fā)布時(shí)不少人都覺得清晰度太低了，而 Imagen Video 卻很快就優(yōu)化這個(gè)問題，這足以讓我們相信過不了多久 AI 就會(huì)解決現(xiàn)存的一些缺陷，在視頻真實(shí)度、精準(zhǔn)度和長(zhǎng)度上給我們帶來新的驚喜。

而且現(xiàn)在也已經(jīng)出現(xiàn)了 AI 音頻工具，能夠根據(jù)文本描述生成極具真實(shí)感的音頻文件，與 Make-A-Video 和 Imagen Video 這種 AI 視頻工具相結(jié)合正好能夠創(chuàng)建出音畫俱全的視頻。如果這些 AI 工具能夠應(yīng)用到實(shí)際的創(chuàng)作中，那么視頻創(chuàng)作的門檻想必也會(huì)大大降低，傳統(tǒng)視頻制作時(shí)所需的人員調(diào)度、布景、后期等工作不再那么必要，制作視頻小樣變得非常容易，也能釋放更多的創(chuàng)作生產(chǎn)力。

文本-音頻 (Text to Audio) 的 AI 模型 AudioGen 在其項(xiàng)目主頁中展示的 AI 音頻成果。圖片來源： https://felixkreuk.github

目前 Imagen Video 并沒有對(duì)外開放，原因是官方認(rèn)為用于訓(xùn)練 AI 視頻模型系統(tǒng)的數(shù)據(jù)仍包含有問題的內(nèi)容，可能會(huì)導(dǎo)致 Imagen Video 產(chǎn)生圖形暴力或色情剪輯，給社會(huì)帶來不良影響。而在這些問題得到緩解之前，谷歌不會(huì)開放 Imagen Video 模型或源代碼。而 Make-A-Video 有一個(gè)申請(qǐng)內(nèi)測(cè)的渠道，感興趣的小伙伴可以去其 官網(wǎng) 上填寫注冊(cè)表格。

對(duì) AI 視頻工具的出現(xiàn)以之后的發(fā)展應(yīng)有你有什么看法呢？歡迎大家在評(píng)論區(qū)寫出自己的看法，或者在優(yōu)設(shè)問答里和大家一起交流~

問題：Google 和 Facebook 宣布研發(fā)出了最新的 AI 視頻工具，能根據(jù)文本描述生成視頻及文本動(dòng)畫，對(duì)此你怎么看？

鏈接： http://76r.com.cn/talk/121207477940.html

參考資料：

1. https://arstechnica.com/information-technology/2022/09/write-text-get-video-meta-announces-ai-video-generator/
2. https://techcrunch.com/2022/10/05/google-answers-metas-video-generating-ai-with-its-own-dubbed-imagen-video/
3. https://venturebeat.com/ai/google-ai-generator-takes-on-meta-as-text-to-video-trend-ramps-up/
4. https://felixkreuk.github.io/text2audio_arxiv_samples/

推薦閱讀：