推薦閱讀

2024 年是多模態(tài)人工智能 AI 技術(shù)爆發(fā)飛躍的一年，尤其是 AI 視頻迎來了快速發(fā)展的階段，以及隨著今年年初 Open AI 突然發(fā)布的首個(gè)文生視頻大模型——Sora，AI視頻在極短時(shí)間內(nèi)受到了公眾的廣泛關(guān)注，AI視頻為廣大創(chuàng)作者和相關(guān)從業(yè)人員，在創(chuàng)意表達(dá)和內(nèi)容創(chuàng)作領(lǐng)域上開辟了新的可能性，也預(yù)示著AI視頻未來將持續(xù)融入更先進(jìn)的技術(shù)，推動(dòng)該領(lǐng)域發(fā)展至新高度。

盡管目前 AI 視頻技術(shù)仍處于成長(zhǎng)階段，但我們已經(jīng)關(guān)注到，國(guó)內(nèi)外眾多品牌和媒體已經(jīng)開始積極探索 AI 視頻的商業(yè)潛力，并且成功落地了一些商業(yè)項(xiàng)目。我們預(yù)計(jì) AI 視頻將為團(tuán)隊(duì)增添新的商業(yè)機(jī)會(huì)，所以自 23 年下半年起，我們便開始著手研究 AI 視頻技術(shù)。隨著今年年初 Sora 的推出，我們更加確信 AI 視頻技術(shù)是未來發(fā)展的趨勢(shì)。因此，我們認(rèn)為有必要提前掌握 AI 視頻的工作流程，來更好的迎接 AI 視頻的到來。

為此，我們?cè)?4 月初正式啟動(dòng)了 AI 視頻制作計(jì)劃，旨在全面梳理和實(shí)踐 AI 視頻的制作流程，積累相關(guān)經(jīng)驗(yàn)，利用現(xiàn)有 AI 技術(shù)先儲(chǔ)備 AI 視頻的相關(guān)經(jīng)驗(yàn)，并制作出一部原創(chuàng) AI 視頻。本次視頻是以夏天即將到來的"2024 年法國(guó)巴黎奧運(yùn)會(huì)"為創(chuàng)作主題，我們?cè)趫F(tuán)隊(duì)內(nèi)部組建了兩個(gè)視頻小組，要求每個(gè)小組各制作一支 1 分鐘左右的 AI 視頻短片。先給大家看下兩部視頻的最終成片效果，隨后會(huì)給大家介紹一下整個(gè) AI 視頻的制作流程，與大家分享我們的經(jīng)驗(yàn)和心得。

原創(chuàng)視頻《巴黎奧運(yùn)新視界》

原創(chuàng)視頻《圓夢(mèng)奧運(yùn)》

一、重點(diǎn)步驟詳解

為了提升制作效率，我們對(duì) AI 視頻短片的創(chuàng)作流程進(jìn)行了細(xì)致的梳理。經(jīng)過我們內(nèi)部反復(fù)測(cè)試以及結(jié)合 AI 現(xiàn)有的技術(shù)能力。我們認(rèn)為，利用圖片生視頻的創(chuàng)作流程是目前可控性最高、效率最高，也是最切實(shí)可行的方法。因此，我們走通 AI 視頻整個(gè)流程可以劃分為六個(gè)關(guān)鍵環(huán)節(jié)：撰寫劇本、分鏡腳本、AI 生成圖片、圖片生成視頻、后期剪輯制作以及音效處理，這也是一個(gè)非常小型的影視工作的制作流程。

1. 寫腳本

首先就是圍繞法國(guó)巴黎奧運(yùn)會(huì)為主題寫一個(gè)劇本大綱，這是我們第一次嘗試自己編寫劇本，盡管缺乏經(jīng)驗(yàn)，但這個(gè)過程充滿了樂趣和挑戰(zhàn)。我們的第一支視頻《巴黎奧運(yùn)新視界》以呈現(xiàn)浪漫巴黎和奧運(yùn)選手的激烈角逐，共同描繪巴黎的城市魅力與奧運(yùn)的熱烈氛圍。第二支視頻《圓夢(mèng)奧運(yùn)》則以國(guó)寶大熊貓為主角，同世界各地的動(dòng)物們一起參賽，在奧運(yùn)會(huì)上各展所長(zhǎng)迎接盛事。

劇本是整個(gè)視頻制作環(huán)節(jié)的靈魂，確立了劇本，我們就能夠圍繞其核心思想，有序推進(jìn)后續(xù)的創(chuàng)作工作。如果大家對(duì)于寫腳本沒有太大的概念，也可以通過觀看優(yōu)秀的電影或短片，吸收靈感，積累經(jīng)驗(yàn)，從而提升自己的創(chuàng)作能力。

2. 分鏡腳本

劇本大綱確立后，接下來就是圍繞劇本大綱做視頻的分鏡腳本制作，這一階段要求我們對(duì)腳本進(jìn)行深入的解析和細(xì)化，明確每一個(gè)鏡頭的具體畫面內(nèi)容、拍攝視角以及鏡頭運(yùn)用技巧等。為了提升專業(yè)性，我們建議大家可以儲(chǔ)備一定的視頻拍攝術(shù)語、畫面與鏡頭感、分鏡等相關(guān)技能。

分鏡腳本的核心在于用文字精確描述視頻中的關(guān)鍵視覺元素，包括人物、動(dòng)作、場(chǎng)景等。在拍攝視角和鏡頭運(yùn)用技巧上，我們可以通過記憶口訣“遠(yuǎn)全中近特，推拉搖移跟”來把握景別和鏡頭運(yùn)動(dòng)方式。將抽象的文字描述轉(zhuǎn)化為具體的視覺圖像，從而更準(zhǔn)確地掌控畫面效果。在完成分鏡腳本初稿后，建議大家多做幾次審閱，確保腳本的邏輯連貫性，以及畫面轉(zhuǎn)場(chǎng)的流暢性。

3. AI 生圖

依據(jù)分鏡腳本的內(nèi)容，接下來我們就可以利用 AI 生成所需要的圖片。在圖片生成工具選擇上，我們依然還是使用 Midjourney（以下簡(jiǎn)稱 MJ）。在開始前，我們首先需要明確視頻的視覺風(fēng)格、色調(diào)、畫面構(gòu)圖、光影效果、景別以及畫幅比例等關(guān)鍵要素，確認(rèn)這些后，我們就可以根據(jù)分鏡腳本中的描述，提煉出關(guān)鍵詞，通過 AI 生成想要的圖片。

當(dāng)然 AI 生成的圖像并不總是完全符合預(yù)期，我們?cè)谏蓤D片過程中也出現(xiàn)了不少問題，并且有些問題是 AI 多次生成都難以避免的。那么針對(duì)這一點(diǎn)，我們可以通過 PS 或者借助其他修圖軟件來靈活處理，以下是我們針對(duì) AI 圖片生成中常見問題的三種處理方法：

① 做加法

當(dāng) AI 無法精準(zhǔn)地在圖片添加所需的物體或元素時(shí)，我們可以利用 PS 的后期處理能力，手動(dòng)添加這些缺失的元素。比如，在生成熊貓坐在看臺(tái)上看比賽的圖片中，AI 生成不出彩屑元素，但為了增強(qiáng)比賽的熱烈氛圍，我們可以后期手動(dòng)添加一些彩屑效果。

② 做減法

當(dāng) AI 生成的圖片中出現(xiàn)多余物體或元素時(shí)，我們可以利用 PS 的后期處理能力，手動(dòng)去除不必要的元素。比如，這張小狗打乒乓球的圖片為例，可以看到圖片上有多個(gè)乒乓球，我們選擇想保留的一個(gè)，去除掉多余球即可。

③ 做乘法

當(dāng) AI 無法精準(zhǔn)地生成特定物體或元素時(shí)，我們可以利用后期替換上對(duì)應(yīng)元素。比如，兩只小貓?zhí)咦闱虻膱D片，可以發(fā)現(xiàn) AI 生成的足球和常規(guī)足球不相符，我們就找了足球照片進(jìn)行替換。

以及下圖我們想生成的是中國(guó)乒乓球運(yùn)動(dòng)員，但中國(guó)國(guó)旗生成不出來，所以最終我們還是采用國(guó)旗圖片來替代 AI 生成的圖片，優(yōu)先確保國(guó)旗以正確無誤的形態(tài)呈現(xiàn)，我們?cè)谧非髣?chuàng)意與技術(shù)融合的同時(shí)，也要保證對(duì)標(biāo)準(zhǔn)和細(xì)節(jié)的尊重。

通過以上這些方法，我們就能避免在 AI 生圖過程中，因?yàn)槟硰垐D片有局部問題，導(dǎo)致反復(fù)生成，浪費(fèi)太多時(shí)間，我們希望能用最少的時(shí)間，最小的成本，達(dá)到我們預(yù)期想要的效果。

4. 圖生視頻

接下來就是本次的核心環(huán)節(jié)：將圖片轉(zhuǎn)換成為視頻。文生視頻時(shí)，AI 對(duì)文本的理解可能與用戶預(yù)期不符，導(dǎo)致生成的視頻內(nèi)容偏離我們預(yù)期，在穩(wěn)定性和質(zhì)量一致性方面存在較大挑戰(zhàn)。而圖生視頻則在視覺一致性和生成質(zhì)量穩(wěn)定性方面表現(xiàn)較好，技術(shù)也比較穩(wěn)定。我們之所以采用先 AI 生成圖片，再用圖片生成視頻的策略，核心目的是為了提高工作效率，并盡可能降低制作過程中的各種不確定性因素。具體操作上，先利用 MJ 生成靜態(tài)畫面，確認(rèn)這些畫面達(dá)到理想效果后，再通過圖片轉(zhuǎn)視頻的 AI 技術(shù)完成視頻的生成；所以想直接尋求一步到位的解決方案目前是不現(xiàn)實(shí)的。所以通過目前這種分步驟的方法來逐步接近想要的效果，確保畫面的可控性及高質(zhì)量的輸出。

在圖片生視頻的 AI 工具選擇上，我們經(jīng)過細(xì)致考量，最終選用了 3 款工具：Runway、Dreamina 和 Pixverse，這 3 款工具各有特色，相比較而言 Runway 無論是在畫面穩(wěn)定性、細(xì)節(jié)表現(xiàn)力、運(yùn)鏡等方面都表現(xiàn)得比較好，更能滿足細(xì)節(jié)鏡頭、特定鏡頭運(yùn)動(dòng)的精準(zhǔn)控制需求。Dreamina 擅長(zhǎng)生成大幅度的運(yùn)動(dòng)效果，以及還可以通過上傳首尾幀圖片，讓 AI 智能補(bǔ)全中間的運(yùn)動(dòng)軌跡。Pixverse 則支持免費(fèi)生成 4K 視頻，尤其適合用在大全景、空鏡等不需要精準(zhǔn)控制的場(chǎng)景上，可以達(dá)到自然微動(dòng)的動(dòng)態(tài)效果。具體實(shí)際應(yīng)用中，大家可以根據(jù)自己生成的效果靈活選用 AI 工具。在圖片生視頻的生成方式上，我們主要采用了兩種方式：

① 通過上傳一張圖片直接生成視頻

如下面的示例所示，通過上傳一張圖片就能直接生成視頻，這種方法因其操作簡(jiǎn)便、效率高效，是我們最常采用的生成視頻的方式。這里主要使用的工具是 Runway 和 Pixverse。

② 通過上傳首幀圖片和尾幀圖片生成視頻

通過控制首尾幀圖片，讓 AI 工具來智能補(bǔ)全中間的運(yùn)動(dòng)軌跡，從而生成一段流暢的視頻。這里使用的 AI 視頻工具是 Dreamina，比如下圖當(dāng)我們希望展示巴黎鐵塔從白天到傍晚的轉(zhuǎn)變時(shí)，就可以利用 Dreamina 來生成想要的視頻效果，實(shí)現(xiàn)從白天到黃昏的自然過渡。

5. 剪輯制作

在視頻生成階段完成后，我們就進(jìn)入了剪輯制作環(huán)節(jié)，把生成的視頻素材按照分鏡腳本內(nèi)容通過 AE 軟件進(jìn)行剪輯制作，當(dāng)然，想更輕量化完成剪輯環(huán)節(jié)也可以使用剪映，這個(gè)環(huán)節(jié)也是整個(gè)制作流程中人工參與度最多的部分，盡管每個(gè)視頻的原始時(shí)長(zhǎng)大約在 3 到 4 秒之間，但實(shí)際能夠完全使用的片段僅占到總視頻的 24%。由此可見，AI 生成的視頻并非整段都能直接使用，有時(shí)由于生成中的某些問題，我們只能從中提取 1 到 2 秒的可用內(nèi)容，如果單個(gè)視頻的時(shí)長(zhǎng)不足以滿足剪輯需求，我們可以通過生成具有相似畫面或延長(zhǎng)畫面的額外視頻來補(bǔ)充，不過大多數(shù)情況下，現(xiàn)有的視頻素材能夠應(yīng)對(duì)剪輯工作。

6. 音效

由于時(shí)間緊迫，本次視頻我們使用了現(xiàn)成的音樂素材，沒能實(shí)現(xiàn) AI 生成音樂素材創(chuàng)作。盡管如此，我們依然推薦在時(shí)間充裕的情況下大家探索下 AI 音樂素材生成。這里也給大家推薦一款好用的 AI 生成音樂工具 Suno，它能夠根據(jù)用戶對(duì)音樂的具體描述，快速生成符合預(yù)期的音樂作品。這不僅能夠?yàn)槲覀兊囊曨l增添獨(dú)特的音樂元素，也能進(jìn)一步提升視頻作品的藝術(shù)性和觀賞性。

① 制作成本

目前，盡管 AI 技術(shù)取得了顯著進(jìn)步，但在視頻制作領(lǐng)域 AI 的獨(dú)立運(yùn)作能力仍有限，還需要人工的大量參與和協(xié)作。這兩個(gè)視頻是我們團(tuán)隊(duì)利用工作的碎片時(shí)間制作完成的成果，從最初寫腳本到剪輯制作六個(gè)環(huán)節(jié)到最終成片，每個(gè)視頻平均花費(fèi)了 60 多個(gè)小時(shí)。在創(chuàng)作過程中，我們通過 MJ 共生成了 7600 多張圖片，并經(jīng)過嚴(yán)格篩選，最終選用了 97 張圖片，這些圖片生成了 450 多個(gè)視頻，再經(jīng)過進(jìn)一步的篩選，我們最終選用了 86 個(gè)視頻用于最終的視頻呈現(xiàn)。雖然整個(gè)制作過程比預(yù)期的要長(zhǎng)，但考慮到這是我們的首次嘗試，團(tuán)隊(duì)需要時(shí)間來磨合和適應(yīng)。

盡管 AI 視頻在生成方面取得了顯著進(jìn)步，但在處理復(fù)雜動(dòng)作和達(dá)到完美效果方面，仍有很大的提升空間，再加上當(dāng)下 AI 生成的視頻時(shí)長(zhǎng)僅有 4 秒鐘，AI 視頻目前還無法完全滿足我們的更多的訴求和期望，雖然這次的視頻制作還未完全達(dá)到我們心目中的理想效果，還有很多優(yōu)化空間。但我們?nèi)匀粓?jiān)信，AI 視頻無論是在技術(shù)突破上，還是應(yīng)用拓展和其他技術(shù)的融合等方面在未來都會(huì)有很大的發(fā)展前景，在更先進(jìn)的 AI 視頻新技術(shù)到來之前，提前掌握 AI 視頻的工作流程是十分有必要的。

作為我們團(tuán)隊(duì)制作的首個(gè) AI 視頻，通過這次實(shí)踐，我們已經(jīng)走通并掌握了整個(gè) AI 視頻的制作流程，并積累了寶貴的經(jīng)驗(yàn)，提前儲(chǔ)備了 AI 視頻的制作能力，能為之后 AI 視頻實(shí)踐奠定基礎(chǔ)。我們堅(jiān)信，隨著 AI 視頻技術(shù)的不斷進(jìn)步和我們團(tuán)隊(duì)經(jīng)驗(yàn)的持續(xù)積累，我們能夠制作出更高質(zhì)量的 AI 視頻，滿足更廣泛的商業(yè)需求，推動(dòng)團(tuán)隊(duì)業(yè)務(wù)的持續(xù)發(fā)展。