深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

爆肝 1 個月后,我終于梳理出一套系統(tǒng)化的 AI 視頻創(chuàng)作工作流了?。?!

并且,在經(jīng)歷過數(shù)十次工作流重構(gòu)和工具組合測試后,也終于有自信寫成教程分享給大家。

本文將深度拆解 AI 視頻創(chuàng)作工作流的 7 大步驟,涵蓋從腳本生成、圖像制作到視頻合成的全鏈條實(shí)操,涉及三大 AI 領(lǐng)域(文本/圖像/視頻)的工具協(xié)同,非常干(肝)!

更多AI視頻干貨:

先來看看本文拆解的 AI 視頻案例:

當(dāng)視頻在手機(jī)上無法加載,可前往PC查看。

下面,就由我將這套工作流傳授給大家。

步驟一:AI 生成創(chuàng)意腳本

文本生成類的 AIGC 工具有很多選擇,比如 Deepseek、ChatGPT、Claude、Kimi、Grok 等等。
而我在計(jì)劃創(chuàng)作這條視頻時,市面上“鬧”的最兇的 AI 大模型是老馬發(fā)布的 Grok 3 模型(他說是地球上最聰明的人工智能)。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

所以,理所當(dāng)然的,這條視頻的創(chuàng)意腳本使用的是 Grok 3 模型。

地址在這: https://x.ai/

作為地球上“最聰明的”人工智能,在與它對話時,你不需要寫多么復(fù)雜的提示詞,只需要描述清楚你的需求以及它的任務(wù)即可。

需求:我要做一條 AI 創(chuàng)意短片,內(nèi)容是 xxx
任務(wù):幫我寫下創(chuàng)意腳本,9 個分鏡。

那么完整的提示詞就是:“我需要做一條 AI 創(chuàng)意短片,內(nèi)容是“小米 Su7 Ultra、薯隊(duì)長(小紅書 IP 吉祥物)、冬季場景、春季場景、上海東方明珠塔",我需要你為我寫下這條短片的創(chuàng)意腳本,大概 9 個分鏡?!?/p>

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

再嘮一句,理論上,你與 AI 對話時,需求描述的越詳細(xì),AI 回復(fù)的就會越精準(zhǔn)。
但在創(chuàng)意這件事情上,誰一開始就有非常明確的需求呢?

那我們可以先定一個大方向,讓 AI 先自行發(fā)揮,然后再與它進(jìn)行多輪對話。

就相當(dāng)于是,你與 AI 激烈的討論如何寫這條創(chuàng)意視頻方案,而不是直接讓它幫你出方案。在討論時,我建議你將 AI 想象成你的同事(領(lǐng)導(dǎo)或下屬)、你的老師。

Grok 3 的 DeepSearch 能力確實(shí)非常強(qiáng)悍,可以看到其搜索思考的過程,非常詳細(xì)的展示在你面前。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

輸出的分鏡腳本內(nèi)容:

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

Grok 3 輸出的分鏡內(nèi)容其實(shí)沒什么特別的亮點(diǎn),它所輸出的腳本,其他 AI 大模型也能做到。
但,它會給你一份調(diào)研分析方案,這就很離譜了。就如果你是一名領(lǐng)導(dǎo),當(dāng)你的屬下給你這份方案時,你會不會拍手叫好?

放出來,給各位看看:

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

到這就打住了,本篇文章是拆解這條視頻的創(chuàng)作流程,再寫下去就成 Grok 3 模型的測評了,各位可以去自行體驗(yàn)。

回到創(chuàng)意腳本上來,如果 AI 所輸出的結(jié)果你不滿意,那么就進(jìn)行多輪對話,直到你滿意為止。

還是前面提到“需求+任務(wù)”的提示詞寫法:

比如“小米 SU7 Ultra 的外觀是黃色,我希望前幾個分鏡是 小米 SU7 Ultra 在冬天雪地馳騁的場景,然后到第五個分鏡,從冬季雪山轉(zhuǎn)換到春季城市的場景。請你根據(jù)我的描述,優(yōu)化這份創(chuàng)意腳本?!?/p>

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

到這,AI 生成創(chuàng)意腳本的過程就寫完了,最終我所選定的腳本方案就不展示出來了,比較長。

但這里要給大家強(qiáng)調(diào)的是,你腳本輸出的好壞,是取決于 AI 大模型的能力,優(yōu)秀的模型,輸出的結(jié)果會更精準(zhǔn),更豐富。

如果需要我推薦的話,Deepseek、ChatGPT、Claude、Grok 都是不錯的選擇。

步驟二:AI 生成圖像提示詞

AI 大模型能生成創(chuàng)意腳本,自然也能生成 Prompt(提示詞)。相比于處理復(fù)雜的創(chuàng)意腳本任務(wù),AI 根據(jù)分鏡描述或圖片內(nèi)容反推出 Prompt 的任務(wù)則會更簡單些。

推薦使用 Kimi 來生成提示詞,沒別的原因。使用順手,回復(fù)速度快。

地址: https://kimi.moonshot.cn/

比如,使用 Grok 的 DeepSearch 功能,給我一頓輸出,但我其實(shí)只需要中英提示詞。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

而使用 Kimi,就很簡單,很純粹。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

生成圖像提示詞的操作流程與第一個步驟類似,說清楚你的需求,需要它為你做什么。

步驟一我們已經(jīng)使用 AI 生成了視頻腳本,那么將腳本內(nèi)容發(fā)送給 Kimi:

“我需要用 AIGC 工具創(chuàng)作一個短片。接下來,我會給你發(fā)送腳本內(nèi)容。你需要根據(jù)我發(fā)送給你的信息,幫我生成 StableDiffusion 所需要的 Prompt,注意,生成英文提示詞后,再給我一份中文翻譯的提示詞,方便我查看。 分鏡一,冬季雪山駕駛。內(nèi)容:航拍視角,黃色小米 SU7 Ultra 在雪山蜿蜒道路上行駛,周圍是白雪皚皚的山景?!?/p>

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

或者是,找一張與分鏡腳本類似的圖片作為參考,發(fā)送給 Kimi:

“我需要用 AIGC 工具創(chuàng)作一個短片。接下來,我會給你發(fā)送腳本內(nèi)容,或者是給你上傳圖片。你需要根據(jù)我發(fā)送給你的信息,幫我生成 StableDiffusion 所需要的 Prompt,注意,生成英文提示詞后,再給我一份中文翻譯的提示詞,方便我查看。 ”

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

通常一輪對話是無法滿足我們的需求,這時你可以繼續(xù)與它對話,讓它按照你的要求修改提示詞。

比如:“這個分鏡中的場景,我希望是在冬天,你要盡可能的描述這輛車在冬天的環(huán)境下行駛,要非常細(xì)節(jié)?!?/p>

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

分鏡一的提示詞生成后,我們?nèi)绾悟?yàn)證這組提示詞的有效性呢?

答案是,提示詞生成與圖像生成同步進(jìn)行(圖像生成的步驟下章節(jié)講)。

將輸出的提示詞放到 StableDiffusion 中,設(shè)置好生圖的相關(guān)參數(shù)后,開始生圖測試效果。

“aerial view, yellow Xiaomi SU7 Ultra driving on winding snowy mountain road, fresh snow covering the ground, snow-capped peaks towering in the distance, icy blue tones, winter atmosphere, snowflakes gently falling, car leaving tracks in the snow, steam rising from the car's exhaust, detailed vehicle design, reflective car windows showing the snowy landscape, mountain slopes with sparse coniferous trees, overcast sky with soft diffused light, highly detailed, realistic, 8k resolution”
航拍視角,黃色小米 SU7 Ultra 在蜿蜒的雪山道路上行駛,地面覆蓋著新鮮的積雪,遠(yuǎn)處是高聳的雪山峰,帶有冰冷的藍(lán)色調(diào),充滿冬季氛圍,雪花輕輕飄落,汽車在雪地上留下軌跡,從汽車排氣管升起的蒸汽,車輛設(shè)計(jì)細(xì)節(jié)豐富,汽車窗戶反射出雪景,山坡上稀疏的針葉樹,陰天帶有柔和的漫射光,高度詳細(xì),逼真,8k 分辨率

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

在分鏡一的畫面中,我所需要的圖像效果是能看到車的正面(車頭),但這組提示詞生成的結(jié)果卻是背面(車尾)。

分析問題,在于提示詞并未出現(xiàn)車頭的描述,那么 AI 生圖時就會出現(xiàn)隨機(jī)性,比如偶爾能看到車頭,偶爾是車尾。
所以,將問題發(fā)送給 Kimi,讓它幫我們優(yōu)化提示詞。

比如:“分鏡一的提示詞需要修改,因?yàn)槲以谑褂?SD 生圖時,發(fā)現(xiàn)生成的結(jié)果,車是背對著鏡頭的。而我需要在這個分鏡中,需要看到車頭。請你根據(jù)我的描述,重新優(yōu)化分鏡一的提示詞?!?/p>

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

仔細(xì)看上面的提示詞部分,Kimi 已經(jīng)根據(jù)我的需求,添加了“正面視角展示汽車的前燈和格柵”提示詞。

然后,根據(jù)修改后的提示詞,再來生成圖像,可以發(fā)現(xiàn)車頭已經(jīng)出現(xiàn)了,并且非常穩(wěn)定。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

當(dāng)分鏡一提示詞搞定后,繼續(xù)讓 Kimi 寫下個分鏡的提示詞。

比如“很好,接下來,分鏡二的內(nèi)容是:畫面聚焦車的尾部特寫。同時我也上傳了一張圖片給你參考。你需要保持分鏡一中對場景的描述,請幫我寫出分鏡二的提示詞。”

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

用 SD 生成圖像測試提示詞效果:

low-angle close-up view focusing on the rear of the yellow Xiaomi SU7 Ultra, driving along the winding snowy mountain road, snow-covered peaks and frozen landscape surrounding the road, winter atmosphere with gentle snowfall, detailed vehicle design highlighting the rear lights and spoiler, steam rising from the exhaust, tracks left in the fresh snow by the tires, reflective windows showing the snowy scenery, overcast sky with soft lighting, highly detailed, realistic, 8k resolution
低角度特寫視角聚焦于黃色小米 SU7 Ultra 的尾部,沿蜿蜒的雪山道路行駛,道路兩旁是冰雪覆蓋的山峰和冰封的景觀,冬季氛圍中雪花輕輕飄落,突出顯示尾燈和尾翼的車輛設(shè)計(jì)細(xì)節(jié),從排氣管升起的蒸汽,輪胎在新雪中留下的軌跡,車窗反射出雪景,陰天帶有柔和的光線,高度詳細(xì),逼真,8k 分辨率

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

效果非常不錯,生成的效果圖與我上傳的圖像內(nèi)容基本一致,并且還保持了風(fēng)格的一致性。

所以,當(dāng)你重復(fù)上面的動作,就可以將分鏡腳本全部轉(zhuǎn)換為圖像提示詞。(這部分寫了 1500 字,先點(diǎn)個贊再往下看吧,感謝?。?/p>

步驟三:AI 生成分鏡圖像

生成圖像的 AIGC 工具有很多,比如 Midjourney、StableDiffusion、即夢 AI 等。
但如果你需要控制圖像中的主體,那選擇只有一個,StableDiffusion。

1. 前期構(gòu)思

先來思考下,我們這條創(chuàng)意短片的主體是什么?

小米 SU7 Ultra 和小紅書吉祥物(薯隊(duì)長)。

如果你將小米 SU7 Ultra 的分鏡提示詞發(fā)送給 Midjourney,它能給你生成的效果是這樣。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

像嗎?只有顏色像,外觀細(xì)節(jié)都不是小米 SU7 Ultra。

原因是,Midjourney 模型數(shù)據(jù)里,并沒有小米 SU7 Ultra 的圖像數(shù)據(jù),自然也給你生成不了。

可能你會想著墊圖來實(shí)現(xiàn),那么看看墊圖的效果。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

也不像,因?yàn)閴|圖是讓 AI 去學(xué)習(xí)參考你上傳圖的信息,所生成的結(jié)果也不能與真實(shí)的小米 SU7 Ultra 一模一樣。

那 StableDiffusion 的原生模型(如 Flux、SDXL、SD2.1 等)能生成小米 SU7 Ultra 嗎?

回答是,也不能,因?yàn)?StableDiffusion 的原生模型也缺少小米 SU7 Ultra 的圖像數(shù)據(jù)。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

所以,結(jié)果已經(jīng)十分確定:“模型缺少小米 SU7 Ultra 的圖像數(shù)據(jù),而能解決小米 SU7 Ultra 的圖像數(shù)據(jù),并將這些數(shù)據(jù)放到圖像模型中,就可以實(shí)現(xiàn)主體控制。”

在 StableDiffusion 開源生態(tài)中,正好就有一項(xiàng)技術(shù)能實(shí)現(xiàn),那就是 Lora 模型。

通過一段話介紹下:

LoRA(Low-Rank Adaptation)模型是一種輕量化的深度學(xué)習(xí)微調(diào)技術(shù),通過對大模型(如 Stable Diffusion)進(jìn)行低秩矩陣分解,僅訓(xùn)練少量參數(shù)即可實(shí)現(xiàn)特定任務(wù)或風(fēng)格的適配,顯著降低計(jì)算資源需求。它在 AI 繪畫領(lǐng)域廣泛應(yīng)用,可作為大模型的“補(bǔ)丁”,用于強(qiáng)化特定人物特征、藝術(shù)風(fēng)格或細(xì)節(jié),生成文件通常僅幾十到幾百 MB。相比完整重訓(xùn)練,LoRA 在模型體積與效果間取得平衡,既避免了大模型的高存儲成本,又比純文本嵌入(Textual Inversion)提供更豐富的信息。用戶只需將 LoRA 模型與大模型結(jié)合使用,即可快速實(shí)現(xiàn)定制化圖像生成。

在哩布 AI 上,就有模型作者基于小米 SU7 Ultra 的圖像數(shù)據(jù),訓(xùn)練了 Lora 模型。

模型地址: https://www.liblib.art/modelinfo/2cc6ac1a404d43b1ad3798ef0186acec?from=sd&versionUuid=beda18bd08974a3faf6e3e4a6abf1d8b

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

同樣,小紅書吉祥物(薯隊(duì)長)也有 Lora 模型。

模型地址: https://www.liblib.art/modelinfo/af0ed4695ca24a5f89f5818d3c6dad48?from=sd&versionUuid=18d2229333ca44ad9a86c3344b40024a

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

當(dāng)多個 Lora 模型同時作用在一張圖時,小米 SU7 Ultra 和薯隊(duì)長就能實(shí)現(xiàn)“跨次元”聯(lián)動。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

當(dāng)理解上面的內(nèi)容后,接下來的生圖步驟就會非常簡單,三個字“文生圖”。

2. 模型設(shè)置

在這條視頻中,我總共調(diào)用了 5 種不同的 Lora 模型。

首先是主體 Lora:小米 SU7 Ultra 和薯隊(duì)長。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

其次是場景 Lora:冬天場景和春天場景。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

最后是調(diào)節(jié) Lora:畫面質(zhì)感、細(xì)節(jié)增強(qiáng)。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

以上這些 Lora 模型,都是基于 Flux 模型訓(xùn)練。所以,在 StableDiffusion 中,大模型需要選擇 Flux 系列模型,推薦使用 F.1-dev-fp8 模型。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

3. 實(shí)操環(huán)節(jié)

生圖的流程基本是固定的,只不過需要在不同的分鏡中,切換合適的 Lora 模型控圖,參數(shù)設(shè)置如下:

  1. 大模型:F.1-dev-fp8
  2. LoRA 模型:阿容容_F.1 大雪、SU7 Ultra 汽車主體控制、Flux Texture 質(zhì)感增強(qiáng)器(權(quán)重參考作者推薦的數(shù)值)
  3. 基礎(chǔ)參數(shù):采樣方法(Euler)、迭代步數(shù)(30)
  4. 尺寸設(shè)置:1536*864

小技巧:測試提示詞生圖時,不要開啟高清修復(fù)。當(dāng)提示詞穩(wěn)定后,批量生圖,然后挑選一張你所滿意的圖片,固定Seed值進(jìn)行高清修復(fù)。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

案例提示詞:a bright yellow sports car speeding along a clear winter highway with a majestic snow-capped mountain range in the distance, the road's asphalt surface is well-maintained and clearly visible, showing distinct lane markings and a smooth texture despite the cold weather, the car's modern and aerodynamic design cutting through the crisp winter air, sharp LED headlights illuminating the path ahead, the vehicle kicking up a light spray of snow from its tires as it moves, snowflakes gently falling and swirling around the car, the surrounding landscape is a mix of snow-covered fields and patches of frost on the ground, with leafless trees standing tall along the roadside, their branches dusted with fresh snow, the sky is a clear, bright blue with a few wispy clouds, creating a striking contrast with the white snow and yellow car, high quality, ultra-detailed, 8k resolution, trending on ArtStation, cinematic composition, vibrant yet cool color palette, dramatic winter lighting, capturing the essence of a winter driving adventure with freedom and excitement.

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

再來展示一個春季場景的分鏡。

LoRA 模型:指鹿 AI_花開世界、SU7 Ultra 汽車主體控制、Flux Texture 質(zhì)感增強(qiáng)器

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

案例提示詞:a bright yellow sports car slowly driving on an urban street,beside the road stands a grand classical building with multiple levels of arches and ornate detailing,its light-colored stone facade adorned with beautiful pink flowers,lush green leaves,and intricate vines,creating a garden aesthetic of spring,a towering vertical 9:16 poster is dramatically affixed to the building's wall,appearing as though it's being blown against the wall by a strong wind,the poster features an abstract design with bold black lines that create a sense of movement and depth,with splashes of bright red and deep blue that contrast sharply against a pale yellow background,the poster's surface has dynamic folds and waves,adding to the surreal and conceptual art effect,pedestrians in spring clothing walk along the traditional stone-paved street with white markings,the scene is set on a sunny spring day with a clear blue sky and warm sunlight casting soft shadows,falling petals and fluttering butterflies add to the romantic spring atmosphere,surrealism,rich detail,warm sunlight,8K resolution,realistic natural and architectural scenes,advanced aesthetic,super realistic,high quality,super clear.,

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

其他的分鏡圖片操作步驟也一樣,這里不重復(fù)列舉。
但要注意,提示詞生成和圖片生成最好同步進(jìn)行,抽象點(diǎn)理解就是“左手生成提示詞,右手生成圖片。”

在此處強(qiáng)調(diào)下,這些 Lora 模型僅供學(xué)習(xí)參考,大家不要隨便拿去商用了。

步驟四:AI 圖像修復(fù)

AI 直出圖像,絕大部分情況下,都需要后期修復(fù)才可以使用(特別是涉及到商業(yè)場景)。
而修圖的工具選擇,我推薦使用 Photoshop 和 Midjourney 這兩款軟件結(jié)合。

修圖方法一:簡單場景

這張分鏡的描述是“小米 SU7 Ultra 在城市道路上行駛,城市建筑墻上有一張巨大的海報?!?/p>

AI 只能給你生成不錯的場景,但海報的內(nèi)容卻無法精準(zhǔn)的生成。

ComfyUI 或許可以,但工作流會比較復(fù)雜。這時,使用 Photoshop 是最好的選擇。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

關(guān)于怎么使用 Photoshop 修圖我就不講了,可以參考我在 PS 中修圖的圖層。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

修圖方法二:復(fù)雜場景

各位花個 30s 時間,思考下,這張圖如何實(shí)現(xiàn)。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

來拆解下我的步驟。

最開始,我是想用 StableDiffusion 直接生成,然后將畫面描述丟給 Kimi 寫提示詞,但無論如何調(diào)整提示詞,生圖的效果始終沒有達(dá)到我的預(yù)期,如圖所示:

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

出現(xiàn)的問題是:“飛機(jī)底下掛一張巨大的海報,并且出現(xiàn)在有小米 SU7 Ultra 的場景中,背景是上海東方明珠塔附近......”。想要的畫面元素太多,導(dǎo)致 AI 無法把握重點(diǎn),就會出現(xiàn)上述錯亂的情況。

于是,我單獨(dú)生成了“飛機(jī)底下掛一張巨大的海報”這一個畫面。

雖然生成了 4 張圖片,只有第一張的效果比較符合我的需求,但這已經(jīng)足夠了。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

然后使用 Photoshop,摳圖、拼貼、海報合成,就搞定了。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

下面就是小米 SU7 Ultra 和東方明珠塔場景了,選定一張角度合適的圖,然后將錯亂的元素清楚掉。

注:如果你是正版 Photoshop,創(chuàng)成式填充會非常方便你修圖。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

到這,將飛機(jī)與場景放在一張圖中看下效果,還不錯。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

但還未結(jié)束,畫面的構(gòu)圖還存在問題,比如“飛機(jī)的位置應(yīng)該在更高空,整個場景需要更寬闊。”

那么,我們要做的就是,擴(kuò)圖。

擴(kuò)圖的方法有很多,但本案例,我只說 Midjourney。

操作很簡單,在 Midjourney 的“圖像編輯器”功能中,上傳圖片,用 SatbleDiffusion 生圖的那組提示詞,調(diào)整下需要擴(kuò)圖的位置即可。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

最終擴(kuò)圖的結(jié)果,如圖所示:

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

但還有個問題,我們的城市場景效果是:“城市建筑上鋪滿了花、草”。

而 Midjourney 并不能還原 StableDiffusion 生成的效果,所以,擴(kuò)展的圖還需要在 StableDiffusion 中重新生成一下。

那么這一步的操作是:

選定一張 Midjourney 擴(kuò)展的圖,并在 PS 中將不需要的元素清除。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

然后在 StableDiffusion 中,使用 Controlnet 插件的 Canny 模型控圖。

注意,在 Controlnet 中,控制生圖效果的參數(shù)是“控制權(quán)重、起始步數(shù)、完結(jié)步數(shù)”。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

生成的效果如圖所示:

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

最后,Photoshop 合成,這張分鏡就搞定了。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

那么,修圖步驟的關(guān)鍵要點(diǎn)就拆解完了。

步驟五:AI 生成分鏡視頻

目前市面上比較好的 AI 視頻模型有可靈 AI、即夢 AI、海螺 AI、Vidu 等。但在視頻生成的穩(wěn)定性上,可靈 AI 的表現(xiàn)會更強(qiáng)些。所以,本條片子的視頻生成部分,交給可靈 AI 來完成。

這個步驟,也給大家拆解兩個場景,分別是單鏡頭生成和雙鏡頭(首尾幀)生成。

1. 單鏡頭生成

操作步驟:圖生視頻——選擇可靈1.6模型——輸入提示詞——點(diǎn)擊生成。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

視頻生成的重點(diǎn)在提示詞的描述上,在做這條視頻時,我是通過 Grok 來寫 AI 視頻提示詞的。

而前不久,可靈上線了 DeepSeek 提示詞助手,你可以在其中描述你想表現(xiàn)的畫面,如“一架飛機(jī)拖著一張巨大的海報飛向鏡頭,鏡頭畫面最終被海報填滿。” 它就會為你生成相應(yīng)的提示詞。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

接下來就很簡單了,單鏡頭通過提示詞描述,直接刷視頻完事。

案例提示詞:“固定鏡頭,一架飛機(jī)飛向鏡頭,同時拖著一面大橫幅。隨著飛機(jī)靠近,相機(jī)逐漸放大聚焦于橫幅,橫幅在畫面中變大,直到完全填滿屏幕?!?/p>

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

案例提示詞:“固定鏡頭,一輛亮黃色跑車高速行駛,從近處開始逐漸遠(yuǎn)去。”

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

案例提示詞:“低角度跟蹤拍攝一輛亮黃色小米品牌跑車,帶有黑色條紋和后翼,車頭標(biāo)有 01 號,行駛在雪山路上。鏡頭跟隨,捕捉跑車高速行駛,車輪揚(yáng)起雪花和冰塊。背景是雪覆蓋的山脈和松樹,藍(lán)天清澈,陽光明亮,雪地反射光線。”

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

2. 首尾幀生成

再來講下首尾幀生成,看下最終所實(shí)現(xiàn)的效果。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

這是一條從冬季轉(zhuǎn)換為春季的鏡頭,所用到的功能是圖生圖首尾幀。

顧名思義,首尾幀就是從首幀圖像,通過視頻動效切換到尾幀圖像。那么,我們需要準(zhǔn)備兩張圖。

首幀圖好解決,按照前面生成圖像步驟,就可以得到這張冬季的分鏡圖。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

那春季場景如何解決呢?

按照前面的思路,方式有兩種:

① Kimi 生成提示詞,StableDiffusion 生成春季場景圖。

但......你在提示詞中想盡一切辦法將兩張圖的場景描述保持一致,只改變風(fēng)格描述的提示詞,所生成的結(jié)果很可能與這張圖片類似。

而在 AI 視頻生成中,如果首尾幀兩張圖的場景區(qū)別太大,生成的效果一般不會讓你滿意。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

② 使用 Controlnet 固定冬季分鏡圖,不改變畫面結(jié)構(gòu),只改變風(fēng)格。

但首尾幀兩張圖的主體(車)位置、場景構(gòu)圖都一致的話,如何才能讓車和場景切換更加自然呢?

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

以上兩種方法,其實(shí)都不好解決這一問題。

那么換個思路,我先讓冬季場景分鏡中的車動起來,然后等車走一段路后,截取那幀圖,放到 StableDiffusion 中重繪場景。

具體操作:
上傳單鏡頭,輸入提示詞“黃色跑車在道路上快速行駛,鏡頭跟隨。”

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

生成結(jié)果展示:

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

然后,再從生成的視頻中,截取最后一幀圖。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

再放在 StableDiffusion 的 Controlnet 中,通過 Canny 模型控制構(gòu)圖,設(shè)置春季 Lora 改變風(fēng)格。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

然后再使用首尾幀功能,將冬季分鏡和春季分鏡組合在一起,就搞定了。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

但細(xì)心的你可能會發(fā)現(xiàn),我前面所展示的案例,冬春場景切換的視頻鏡頭,是從冬天高架橋轉(zhuǎn)換到春天高架橋(出現(xiàn)了兩個高架橋)。

而并不像冬天單鏡頭視頻那樣,背景是保持不變(只有一個高架橋),其主要原因還是 AI 的隨機(jī)性,如果你需要這樣的效果,得多刷圖。

而我選擇這段分鏡視頻是因?yàn)?,這條隨機(jī)性生成的視頻結(jié)果我很喜歡,挺有創(chuàng)意.......

好了,視頻分鏡生成的步驟我們也拆解完了。

步驟六:視頻后期合成

到這一步,基本上完成這條短片 80%的工作了。當(dāng)然,如果你準(zhǔn)備使用 AE 等動效工具做片、轉(zhuǎn)場等效果,可能還需要花點(diǎn)時間,本條視頻輕度使用 AE,過程就不說了,放張圖意思下。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

這個步驟主要說下剪映的 AI 功能。

通常,在使用 AI 視頻生成工具時,生成的視頻畫質(zhì)一般不會太高(通常是 1080P),如果你想要生成超清畫質(zhì)的視頻,所消耗的生成點(diǎn)數(shù)比較多,或者說,貴!而 AI 的隨機(jī)性,也會導(dǎo)致我們無法一次就能完成生成任務(wù)。

所以,一般在生成視頻時,建議大家用小分辨率的生成品質(zhì)來刷視頻,比如可靈的標(biāo)準(zhǔn)模式。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

而最終我們所產(chǎn)出的視頻,一定要保證畫質(zhì)清晰,否則你花了大量的時間,卻在最后一步出稿時,因?yàn)楫嬞|(zhì)問題導(dǎo)致視頻不高級,是非??上У?。

那么,如何解決這一問題呢?市面上有不少視頻修復(fù)、放大的工具。

但本文只推薦剪映內(nèi)置的功能,方便好用。所以,各位在剪輯完成后,請將“超清畫質(zhì)、視頻降噪、AI 補(bǔ)幀”都用上。(不過,這些需要會員才能用)

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

最后,導(dǎo)出視頻時,將分辨率設(shè)置為 4K,補(bǔ)分辨率勾選上。這樣,你就能得到一張超高清的片子了。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

步驟七:AI 生成封面標(biāo)題

最后一步,視頻做好后,需要一張封面,并且通常封面上會有標(biāo)題文字信息。

封面好解決,用這條片子中的某張圖片分鏡,或者是按照生成分鏡圖像的步驟出一張即可。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

那么標(biāo)題文字,我們可以使用即夢 AI 來做,即夢的 2.1 版本模型可以生成中文字體。

創(chuàng)作前,依舊是用 AI 來幫我們寫提示詞。即夢 AI 最近也上線了 DeepSeek 模型,可以直接在即夢中發(fā)送你的需求:“我需要設(shè)計(jì)標(biāo)題文字,內(nèi)容是「春日秀場 薯樣年華」,白字黑底。”

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

輸出的提示詞:為“春日秀場 薯樣年華”設(shè)計(jì)標(biāo)題文字,采用粗體、藝術(shù)化、手繪字體,呈現(xiàn)動態(tài)現(xiàn)代感,筆畫粗細(xì)不均,帶有街頭藝術(shù)或圖形設(shè)計(jì)的影響。字符可能相互連接,筆畫自然融合,形成流暢設(shè)計(jì),避免傳統(tǒng)書法毛筆的筆觸。文字為純黑色,背景為純白色,居中排列,呈單行略帶曲線的布局,增強(qiáng)視覺流動感。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

最后,挑選一張你認(rèn)可的標(biāo)題設(shè)計(jì),使用 Photoshop 等設(shè)計(jì)排版工具,大功告成。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

放上這條視頻的 10 張分鏡圖,供大家參考。

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

到此,這篇文章迎來了尾聲,給大家分享下我的經(jīng)驗(yàn):

創(chuàng)作一條高質(zhì)量、有創(chuàng)意的 AI 視頻,所投入的成本絕不會很低。在分鏡(圖片、視頻)創(chuàng)作上,你可能需要花大量的時間去嘗試。雖然 AI 的生產(chǎn)能力很強(qiáng),但真正能落地使用的內(nèi)容卻很少,因?yàn)?AI 的隨機(jī)性就會導(dǎo)致我們需要不斷地調(diào)試參數(shù),不斷地刷內(nèi)容,而我們只能盡量的去控制 AI 生成的結(jié)果。

而在 AI 工具的使用成本上,頂級的大模型,如圖像模型(Flux)、視頻模型(可靈、Vidu 等),基本上需要開通會員才能順暢的使用,還有 Photoshop、剪映等設(shè)計(jì)工具,如要使用其中的 AI 功能,也需要付費(fèi)。

但是,對比傳統(tǒng)的視頻工作流,這些成本并不算高。

而在 AI 時代下,每個人都有可能成為導(dǎo)演。

以前遙不可及的夢,或許 AI 真的能幫我們實(shí)現(xiàn)......

最后,如果你想學(xué)習(xí) AIGC,可以加入我主理的《優(yōu)設(shè) AI 俱樂部》,俱樂部內(nèi)沉淀有 2000+ 優(yōu)質(zhì) AI 學(xué)習(xí)資料,涵蓋 AI 繪畫、AI 視頻、AI 提示詞、AI 工具庫、AI 商業(yè)設(shè)計(jì)案例、研究報告......

也可以點(diǎn)擊鏈接: https://wx.zsxq.com/group/15288828142182

深度拆解!這可能是全網(wǎng)最詳細(xì)的AI視頻創(chuàng)作教程

收藏 206
點(diǎn)贊 136

復(fù)制本文鏈接 文章為作者獨(dú)立觀點(diǎn)不代表優(yōu)設(shè)網(wǎng)立場,未經(jīng)允許不得轉(zhuǎn)載。