前言

我相信這是一篇針對大朋友、小朋友都通俗易懂的視頻劇本構(gòu)思到視頻落地的全流程拆解教程?；诖笳Z言模型和繪圖模型的前提，有了一次和小伙伴們探索文生圖到圖生視頻的創(chuàng)作實踐。

廢話不多說，直接上保姆級干貨教程！保證你能夠輕松學(xué)會！

學(xué)之前，快來看看我們制作的視頻短片吧~

一、前期準(zhǔn)備

1. 確定主題

針對于現(xiàn)有的 AI 生成能力，央視推出了多組 AI 視頻短片，為此我們也決定生成一個符合時代主旋律的 AI 小視頻。經(jīng)過腦暴階段，有了一帶一路背景下絲綢之路這個角度的創(chuàng)作故事。創(chuàng)作方向也可以借助大語言模型生成主題方向的靈感，下面提供部分列舉方向可做參考：

2. 工具探索

通過對 AI 工具的了解和視頻的構(gòu)成，我們發(fā)現(xiàn)當(dāng)下有許多能夠進(jìn)行視頻生成的工具，于是進(jìn)行了部分視頻生成工具的測試。最終選擇了大語言模型 chatgpt、kimi 進(jìn)行劇本分鏡設(shè)定，文生圖 midjourney 生成視覺畫面，圖生視頻選擇即夢 dreamina 制作動態(tài)畫面，suno 音樂編曲，ondoku 主角臺詞配音，視頻剪輯使用的是剪映。視頻中的小部分的音效也在網(wǎng)上進(jìn)行了無版權(quán)下載，當(dāng)然剪映里也有大量的音效可以使用。

3. 風(fēng)格與時長

時長確立：制作一個 1 分鐘左右的 AI 生成畫面，加上閉幕不超過 2 分鐘。

風(fēng)格確立：大致定義為中國風(fēng)，當(dāng)然即便風(fēng)格定義成中國風(fēng)也有不同的風(fēng)格展示，我們采用同一提示詞，進(jìn)行了風(fēng)格測試對比。

這里我們使用了 Fanbook 中的 niji6 模型以及 --sref 指令，最后加上每張圖片的提示詞，完成了整個視頻風(fēng)格保持一致性的確定。（當(dāng)然 風(fēng)格一致性......等等諸多詳細(xì)教程，后續(xù).....趕緊小關(guān)小注）尺寸選擇 16:9。

4. 劇本分鏡設(shè)定

根據(jù)絲綢之路的古風(fēng)主題，風(fēng)格和時長的確定。接下來就需要設(shè)定故事主線和鏡頭。

有了以上故事劇本及相關(guān)資料的基礎(chǔ)，就可以進(jìn)一步擴(kuò)充每一個畫面啦。我們可以參考分鏡頭的基本格式要求，按照場景、地點、鏡號、畫面描述、臺詞、音效等維度進(jìn)行填充。這里提一個小建議，畫面數(shù)量與臺詞長短密切相關(guān)，比如，主角一句話有 6 個字，按照 3~4 字/秒核算，需要有 2 秒的時長，而通常 1 個畫面可以生成 2~3 秒的短視頻，因此，6 個字的臺詞長度，使用一個畫面便可以滿足。換句話說，當(dāng)臺詞越長，所需的畫面量越多，生圖的工作量也越大。所以我們要盡可能精簡人物的對話，提煉重點。

當(dāng)然，當(dāng)你對某一句臺詞，沒有足夠的畫面靈感，你還可以借助語言大模型來幫助你。比如，在這次的分鏡頭創(chuàng)作過程中，我們便與 Kimi 進(jìn)入了深入的交流。你可以要求 Kimi 幫你寫好畫面描述（如下左圖）。你還可以直接將臺詞拋給 Kimi，讓他幫你寫好畫面描述，甚至加上對音效的需求（如下右圖）。

大模型可以為你提供足夠多的靈感，你可以多提問，多嘗試。當(dāng)然，最終選取哪個畫面，如何平衡畫面之間的聯(lián)系，這都需要你進(jìn)一步思考。就在以上的 AI 輔助下，我們的分鏡頭劇本就完成啦。（如下圖）

二、AIGC 視覺畫面生成階段

1. 主角人物生成

劇本中的兩位主人公，共 3 個形象，分別是年輕船員：開朗積極、充滿好奇；老船長：經(jīng)驗豐富、堅韌不拔，以及老船長年輕時候的形象。通過性格特征和時代背景，描繪人物的提示詞、上傳角色參考圖--cref，最后將角色背景扣除以便于進(jìn)行角色加背景的融合生成時進(jìn)行墊圖操作。以老船長年輕形象為例，生成了全身、半身、側(cè)身等多角度人物圖。

2. 場景畫面生成

根據(jù)劇本創(chuàng)作，場景主要概括為三個場景部分，分別是海上、沙漠、市集。提示詞從劇本中的畫面描述進(jìn)行提取。生成過程均采用文生圖模式，畫面風(fēng)格選擇前期準(zhǔn)備好的風(fēng)格圖進(jìn)行墊圖。

3. 帶主角人物的畫面生成

上傳角色圖、場景背景進(jìn)行參考生成，使得人物和場景的融合度更高。

通過以上階段，我們的臺詞、劇本、風(fēng)格、人物形象、畫面場景就都確立好啦。

小插曲：感謝團(tuán)隊小伙伴積極投入在本次創(chuàng)作中，分工明確，協(xié)同并進(jìn)，最終產(chǎn)出一份較為滿意的作品。當(dāng)然最最最可愛且重要的是：留下關(guān)注、收藏、認(rèn)知看完文章的你~

現(xiàn)在畫面靜態(tài)圖片有了，那么接下來該讓圖片動起來了吧......

三、AIGC 視覺動態(tài)生成階段

使用即夢進(jìn)行圖生視頻，只需上傳圖片至視頻生成模塊，提示詞簡單描繪畫面中的動態(tài)內(nèi)容即可。能生成時長為 3 秒鐘的畫面。

運鏡類型可根據(jù)劇本中的鏡頭描繪設(shè)置，主要設(shè)置以隨機(jī)運鏡為主。生成速度根據(jù)我們的視頻節(jié)奏，選擇了慢速。

生成效果：如下方這類由圖片+簡單提示詞生成出的 3 秒時長的短視頻。

四、AIGC 音樂生成階段

1. 音樂生成

AI 生成音樂的工具使用的是 Suno，它能夠根據(jù)用戶對音樂的具體描述，快速生成符合預(yù)期的音樂作品。這不僅能夠為我們的視頻增添獨特的音樂元素，也能進(jìn)一步提升視頻作品的藝術(shù)性和觀賞性。本次制作共生成了 30 首歌曲，從中挑選出符合視頻節(jié)奏的背景音樂。

2. 人聲配音生成

本次人物對白比較簡單，經(jīng)過對比我們選擇了即開即用的 ondoku 進(jìn)行配音，輸入文字后就可以快速得到配音文件。

五、后期合成

后期合成主要使用了剪映，即夢 AI 生成的視頻時長是 3 秒鐘，并非整個 3 秒都能使用，根據(jù)劇本和畫面內(nèi)容，需要做部分截取。合成的過程中，會發(fā)現(xiàn)畫面內(nèi)容出現(xiàn)不協(xié)調(diào)情況，或者出現(xiàn)畫面內(nèi)容缺少的情況，需要重新生成畫面視頻進(jìn)行補充。不過大多數(shù)情況下，畫面原有的素材能夠應(yīng)對剪輯工作。視頻音樂再合成時也可以進(jìn)行畫面匹配后再聽聽音樂是否協(xié)調(diào)。

視頻軌道層分別是：臺詞層、效果層（關(guān)鍵幀、蒙版）、視頻畫面（AI 生成的視頻畫面加閉幕）、人聲臺詞、音效、背景音樂。

結(jié)語

隨著 AI 技術(shù)的不斷進(jìn)步，AI 在視頻領(lǐng)域的應(yīng)用將會更加廣泛和深入。盡管《絲路追風(fēng)》還有很多的不足，但是創(chuàng)作和探索的過程本身就是一個樂趣。希望這次的拆解流程分享也能為大家打開一扇新的窗戶，能對 AI 生成視頻有大致的流程認(rèn)識。期待在未來隨著技術(shù)的不斷革新，工具日益完善，我們的創(chuàng)作能夠不斷進(jìn)步！