深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

一、川言川語(yǔ)

大家好,我是言川。本期文章是 2024 年的第一篇文章,也是 2023 年農(nóng)歷的最后一篇文章。截至這篇文章完成時(shí),距離春節(jié)也只有最后一周的時(shí)間了,我無(wú)法單獨(dú)向支持我的朋友們傳達(dá)祝福之意。所以在本篇文章的開頭,向大家說(shuō)一些祝福之詞:

2024 年,祝大家在新的一年里事業(yè)有成,大展宏圖,前程似錦。同時(shí)在事業(yè)之外,祝大家健康、快樂以及幸福。

2024 年,辰龍年,祝大家龍飛鳳舞,事業(yè)騰飛;祝大家金龍獻(xiàn)瑞,好運(yùn)連連;祝大家龍年吉祥,幸福安康。

最后,新年快樂,準(zhǔn)備準(zhǔn)備回家吃餃子咯~

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

二、生成式 AI 回顧

開始我們本篇文章的主題吧。生成式 AI 開始在國(guó)內(nèi)爆發(fā)的時(shí)間是 2023 年 2 月底(炒的最熱階段),當(dāng)時(shí)是在的 ChatGPT 引領(lǐng)下,一眾 AI 生成式工具被我們所知曉。在圖像生成領(lǐng)域,最為出名的幾個(gè)工具是 Midjourney、StableDiffusion 和 Dall -E3。

盡管當(dāng)時(shí) Midjourney V4 版本模型生成的圖片質(zhì)量已經(jīng)是非常的驚艷,但是還遠(yuǎn)遠(yuǎn)沒有讓大多數(shù)設(shè)計(jì)師引起足夠的重視,原因也很簡(jiǎn)單,對(duì)于設(shè)計(jì)師來(lái)說(shuō),可商業(yè)化的工作流才是核心。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

直到在 2023 年 3 月中下旬時(shí),StableDiffusion 的教程開始如雨后春筍般拔地而起,相信你一定看到過(guò)類似的教程:二次元線稿上色、模特?fù)Q裝、二維圖像轉(zhuǎn)三維等等。這相比于 Midjourney 給設(shè)計(jì)師們帶來(lái)的驚艷,StableDiffusion 的這些操作可謂是震驚了設(shè)計(jì)圈,讓會(huì) AI 和不會(huì) AI 的設(shè)計(jì)師們都坐不住了,當(dāng)然也包括我。之后我也是趕緊開始投入 StableDiffusion 的研究中。

而這一切都得益于一個(gè)插件:Controlnet。它可以對(duì)圖像進(jìn)行精準(zhǔn)控圖,相比于 Midjourney,它似乎更適合大多數(shù)設(shè)計(jì)場(chǎng)景。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

以上為個(gè)人觀點(diǎn),不喜勿噴

在 StableDiffusion 設(shè)計(jì)中幾乎每一個(gè)商業(yè)場(chǎng)景都離不開 Controlnet 插件的加持,對(duì)此我想再寫一篇 Controlnet 詳細(xì)教程,本篇教程會(huì)詳細(xì)的介紹大部分常用的 Controlnet 模型,如果你還不知道如何操作使用 Controlnet,我建議你看看我在 2023 年 5 月份寫的這篇文章:

三、Controlnet 模型詳解

1. 電腦配置單

在正式開始我們 controlnet 的講解之前,我為大家準(zhǔn)備了 3 套不同的電腦配置單。

之前也有大部分的朋友都來(lái)問我,如何搭配一臺(tái)能玩 StableDiffsion 的電腦。所以在本篇文章中我就直接公布出來(lái),只作為建議參考。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

其實(shí)能穩(wěn)定的運(yùn)行 StableDiffsion 進(jìn)行生圖,最重要的配置就是顯卡顯存,我們?cè)谑褂?controlnet 的時(shí)候,也會(huì)加大顯存的占用,所以最核心的就是顯存。其他配置都是圍繞著該顯卡進(jìn)行搭配,畢竟要使顯卡能完美的發(fā)揮出它的性能,其他配置也得跟上。

2. 官方模型

目前最新的controlnet模型分為ControlNet 1.1模型和ControlNet XL模型。

ControlNet 1.1模型支持基于SD1.5、2.1訓(xùn)練的大模型上。而ControlNet XL模型支持基于SD XL訓(xùn)練的大模型上。

它們雖然是屬于兩個(gè)不同版本的模型,但是使用方法和原理都是一樣的。所以本文只介紹ControlNet 1.1模型,Controlnet XL模型大家對(duì)應(yīng)著預(yù)處理器和模型看即可。

目前 ControlNet 1.1 官方發(fā)布的模型有 14 個(gè)模型,其中包含 11 個(gè)完整模型以及 3 個(gè)測(cè)試模型。下面我就開始詳細(xì)介紹一下這些模型的作用。

以下所有的模型演示案例,固定參數(shù)為:

  1. 負(fù)面關(guān)鍵詞用大家常用的模板即可;
  2. 迭代步數(shù) 30、采樣方法 DPM++ 2M Karras;
  3. 尺寸與上傳 controlnet 圖一致

①ControlNet 1.1 Depth

  1. Stable Diffusion的深度圖
  2. 模型文件:control_v11f1p_sd15_depth.pth

介紹:生成一張立體深度圖,白色越亮的地方越靠前,越灰的地方越靠后,記錄原圖的空間信息,可作用在生成圖上,如下圖。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

實(shí)操案例:

大模型:AWPainting_v1.2.safetensors

正向關(guān)鍵詞:
((upper body portrait, An African black girl is happy and laughing:1.2)) ((pure blue background)),A delicate figure appears ethereal,with translucent wings and a gown reminiscent of frost. Her attire is a blend of innocence and otherworldliness,suggesting she may be a sprite or fairy from a winter realm,radiating a serene presence.,

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

上傳原圖,并且使用 Depth midas 預(yù)處理器,切換 depth 模型,保存默認(rèn)的 controlnet 設(shè)置,即可通過(guò)深度圖生成一張與原圖人物姿勢(shì)類似的圖。人物細(xì)節(jié)和圖片風(fēng)格可以通過(guò)大模型和關(guān)鍵詞控制。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

②ControlNet 1.1 Normal

  1. 使用法線圖控制Stable Diffusion
  2. 模型文件:control_v11p_sd15_normalbae.pth

介紹:與 depth 類似,預(yù)處理出來(lái)的圖片在 3D 里叫法線貼圖。通過(guò)凹凸的法線貼圖記錄空間信息,適合細(xì)節(jié)信息比較多的圖片。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

實(shí)操案例:

大模型:AWPainting_v1.2.safetensors

正向關(guān)鍵詞:
scenery,chair,(ocean:1.3),table,lamp,indoors,sky,plant,water,horizon,window,door,flower pot,potted plant,wooden floor,book,shelf,HDR,UHD,8K,best quality,highres,absurdres,masterpiece,Highly detailed,

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

上傳真實(shí)的室內(nèi)設(shè)計(jì)場(chǎng)景,通過(guò) Normal 模型獲取原圖的空間信息和物體信息,用二次元風(fēng)格的大模型即可完成圖片風(fēng)格的次元轉(zhuǎn)換,Normal 的控制效果可謂是非常精準(zhǔn)了。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

③ControlNet 1.1 Canny

  1. 使用Canny圖控制Stable Diffusion
  2. 模型文件:control_v11p_sd15_canny.pth

介紹:提取圖片中物體的輪廓線,AI 根據(jù)提取的輪廓重新生成一張與原圖細(xì)節(jié)類似的圖片。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

實(shí)操案例:

大模型:disneyPixarCartoon_v10.safetensors

正向關(guān)鍵詞:
deer,outdoors,tree,blurry,grass,animal,nature,blurry background,antlers,day,animal focus,solo,horns,
HDR,UHD,8K,best quality,highres,absurdres,masterpiece,Highly detailed,

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

使用 canny 預(yù)處理器和模型,控制鹿的形體和身體細(xì)節(jié)之處,然后通過(guò)大模型和關(guān)鍵詞的配合,即可生成與上傳圖非常非常相似的鹿。還可以控制背景元素,這是我們?cè)谏鷪D中最常用的模型之一。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

④ControlNet 1.1 MLSD

  1. 使用M-LSD直線控制Stable Diffusion
  2. 模型文件:control_v11p_sd15_mlsd.pth

介紹:提取圖片中物體的直線條,彎曲線條不會(huì)被提取。適合做室內(nèi)設(shè)計(jì)和建筑設(shè)計(jì)這種直線結(jié)構(gòu)的圖。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

實(shí)操案例:

大模型:majicMIX realistic 麥橘寫實(shí)_v7.safetensors

正向關(guān)鍵詞:
couch,scenery,lamp,table,book,indoors,wooden floor,carpet,chair,plant,bookshelf,rug,shelf,ceiling light,door,
HDR,UHD,8K,best quality,highres,absurdres,masterpiece,Highly detailed,

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

MLSD 模型在室內(nèi)設(shè)計(jì)中最為常用,上傳原始室內(nèi)圖,控制室內(nèi)空間內(nèi)的直線條,通過(guò)不同的關(guān)鍵詞和大模型即可完成相同空間內(nèi)不同風(fēng)格的室內(nèi)設(shè)計(jì)樣板圖。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

⑤ControlNet 1.1 Scribble

  1. 使用涂鴉控制Stable Diffusion
  2. 模型文件:control_v11p_sd15_scribble.pth

介紹:提取圖片中物體的大輪廓,不會(huì)像 canny 一樣提取精細(xì)化的線條,保留人物(物體)的外輪廓,細(xì)節(jié)會(huì)根據(jù)關(guān)鍵詞發(fā)生改變。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

實(shí)操案例(與 canny 模型一樣的案例):

大模型:disneyPixarCartoon_v10.safetensors

正向關(guān)鍵詞:
deer,outdoors,tree,blurry,grass,animal,nature,blurry background,antlers,day,animal focus,solo,horns,
HDR,UHD,8K,best quality,highres,absurdres,masterpiece,Highly detailed,

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

相比于 canny 硬邊緣控制,scribbble 相對(duì)比較柔和,在細(xì)節(jié)之處更多的是由 AI 來(lái)發(fā)揮生成,所以它的控制力不如 canny,適合展現(xiàn)創(chuàng)造力的圖片。看下面生成的鹿和背景,只是控制了鹿的大概形體,其他地方則由 AI 發(fā)揮生成。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

⑥ControlNet 1.1 Soft Edge

  1. 使用柔和邊緣控制Stable Diffusion
  2. 模型文件:control_v11p_sd15_softedge.pth

介紹:提取圖片中物體的輪廓線,與 canny 不同的是他會(huì)首先提取物體大的輪廓線,然后其他地方會(huì)有細(xì)的線。相當(dāng)于 canny 與 scribble 的結(jié)合,粗粗細(xì)細(xì)的。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

實(shí)操案例:

大模型:majicMIX alpha 麥橘男團(tuán)_v2.0.safetensors

正向關(guān)鍵詞:
best quality,hyper quality,8k,ultra detail,realistic,RAW photo,dslr,soft lighting,film grain,Fujifilm XT3,Screen Space Refraction,high detailed skin,natural skin texture,Canon 5D,high details,(masterpiece),(best quality),ultra hi res,realistic,handsome male,young guy,asian male,blurry background,shirt,blurry,white shirt,1boy,male focus,hands in pockets,realistic,upper body,

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

與上面說(shuō)的一樣,它相當(dāng)于 Canny 與 Scribble 結(jié)合,能通過(guò)預(yù)處理精準(zhǔn)控制圖片中的物體,可以對(duì)比這幾個(gè)模型的預(yù)處理出來(lái)的草稿圖,他們對(duì)形體的控制力度會(huì)有區(qū)別,也是比較常用的模型。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

⑦ControlNet 1.1 Segmentation

  1. 使用語(yǔ)義分割控制Stable Diffusion
  2. 模型文件:control_v11p_sd15_seg.pth

介紹:設(shè)計(jì)中的語(yǔ)義分割圖,根據(jù)色塊生成不同的物體,識(shí)別物體對(duì)應(yīng)色塊進(jìn)行畫面的區(qū)分,然后根據(jù)關(guān)鍵詞的描述生成該物體在圖片中的樣子。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

這個(gè)表格是用在“seg”這個(gè)模型上的,可以通過(guò)顏色來(lái)控制物體在畫面出現(xiàn)的區(qū)域。

實(shí)操案例:

大模型:majicMIX realistic 麥橘寫實(shí)_v7.safetensors

正向關(guān)鍵詞:
scenery,outdoors,ocean,sky,day,beach,shore,cloud,water,stairs,horizon,landscape,tree,
HDR,UHD,8K,best quality,highres,absurdres,masterpiece,

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

它的原理是把圖像中的物體,按照語(yǔ)義分割圖的規(guī)則分割成色塊,每個(gè)色塊都對(duì)應(yīng)著一個(gè)物體,比如青藍(lán)色是天空,草木是綠色,通過(guò)這樣的方式控制圖片中的元素,也是比較常用的模型。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

⑧ControlNet 1.1 Openpose

  1. 使用Openpose控制Stable Diffusion
  2. 模型文件:control_v11p_sd15_openpose.pth

介紹:識(shí)別人物的姿勢(shì)、面部、手臂,生成骨架圖,AI 根據(jù)骨架圖可以很好的還原原圖上的人物形態(tài)。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

實(shí)操案例:

大模型:AWPainting_v1.2.safetensors

正向關(guān)鍵詞:
1girl,orange shoes,solo,sitting,sky,clouds,outdoors,black hair,bird,upward view,blue sky,white socks,daytime,orange jacket,building,long sleeves,leaves,long hair,stairs,red headband,pump Rope,headband,bangs,cloudy sky,from_below,wide_shot,

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

上傳人物圖,可以通過(guò) openpose 控制生成人物骨架圖,通過(guò)不同的大模型和關(guān)鍵詞,生成與原圖人物姿勢(shì)一樣,但是風(fēng)格不一樣的圖片,做人物類的圖片少不了用它。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

⑨ControlNet 1.1 Lineart

  1. 使用線條藝術(shù)控制Stable Diffusion
  2. 模型文件:control_v11p_sd15_lineart.pth

介紹:精準(zhǔn)的控制物體的線條,并自動(dòng)對(duì)線條進(jìn)行藝術(shù)化處理,與 canny 類似,適合做一些偏藝術(shù)類的圖片,簡(jiǎn)單說(shuō)可以幫我們把圖片轉(zhuǎn)成手繪線稿圖。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

實(shí)操案例:

大模型:AWPainting_v1.2.safetensors

正向關(guān)鍵詞:
flower,white flower,no humans,bug,orange flower,red flower,butterfly,black background,leaf,pink flower,plant,daisy,fruit,yellow flower,lily (flower),purple flower,still life,HDR,UHD,8K,best quality,highres,absurdres,masterpiece,

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

這個(gè)模型提取出來(lái)的線條就類似我們手繪出來(lái)的線稿圖一樣,對(duì)于藝術(shù)類的圖片控制重繪的效果比較合適,可以看到下圖生成出來(lái)的效果是非常精準(zhǔn)的。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

⑩ControlNet 1.1 Anime Lineart

  1. 使用動(dòng)漫線條藝術(shù)控制Stable Diffusion
  2. 模型文件:control_v11p_sd15s2_lineart_anime.pth

介紹:專門做動(dòng)漫線稿上色的模型,提取圖片線稿,然后進(jìn)行上色處理,也可以直接上傳線稿上色。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

實(shí)操案例:

大模型:AWPainting_v1.2.safetensors

正向關(guān)鍵詞:
(masterpiece),(best quality:1.2),official art,(extremely detailed CG unity 8k wallpaper),(photorealistic:1.4),1girl,future technology,science fiction,future mecha,white mecha,streamlined construction,internal integrated circuit,upper body,driver's helmet,

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

把人物線稿上傳后,使用 lineart 進(jìn)行黑白反色處理,根據(jù)大模型風(fēng)格和關(guān)鍵詞描述,即可對(duì)手繪線稿上色,這也是最常用的線稿上色方式。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

?ControlNet 1.1 Shuffle

  1. 使用內(nèi)容洗牌控制Stable Diffusion
  2. 模型文件:control_v11e_sd15_shuffle.pth

介紹:風(fēng)格遷移,把原圖的顏色信息打亂,然后為生成圖片添加原圖的顏色信息。簡(jiǎn)單來(lái)說(shuō)就是讓 AI 學(xué)習(xí)原圖的風(fēng)格,然后賦予到新的圖片上。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

實(shí)操案例:

大模型:majicMIX realistic 麥橘寫實(shí)_v7.safetensors

正向關(guān)鍵詞:
crosswalk,city,night,real world location,street,crowd,road,6+boys,outdoors,scenery,people,building,neon lights,sign,cityscape,6+others,multiple boys,multiple others,multiple girls,english text,city lights,HDR,UHD,8K,best quality,absurdres,masterpiece,Highly detailed,

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

實(shí)測(cè)下來(lái),不是特別理想??赡茉谝恍┬”妶?chǎng)景中可以用到。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

?ControlNet 1.1 Instruct Pix2Pix

  1. 使用指令式Pix2Pix控制Stable Diffusion
  2. 模型文件:control_v11e_sd15_ip2p.pth

介紹:指令性模型,與其他的模型都不一樣,它是上傳一張圖片后,給他發(fā)送一串指令關(guān)鍵詞。比如下面的圖片,給他發(fā)送:“讓它著火”,但是目前只支持一些簡(jiǎn)單的指令,還不成熟。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

實(shí)操案例:

大模型:majicMIX realistic 麥橘寫實(shí)_v7.safetensors

正向關(guān)鍵詞:
Set him on fire.

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

上傳圖片后,在正向關(guān)鍵詞中描述:讓它著火,就出現(xiàn)了如下的圖片,嘗試了更為復(fù)雜的指令,確實(shí)識(shí)別不出來(lái),目前也就適合拿來(lái)玩一下。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

?ControlNet 1.1 Inpaint

  1. 使用修復(fù)控制Stable Diffusion
  2. 模型文件:control_v11p_sd15_inpaint.pth

介紹:與圖生圖的局部重繪類似,它會(huì)比局部重繪生成的圖與原圖更融合,且操作更簡(jiǎn)單。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

實(shí)操案例:

大模型:majicMIX alpha 麥橘男團(tuán)_v2.0.safetensors

正向關(guān)鍵詞:
1boy,male focus,solo,pants,facial hair,jewelry,shirt,realistic,bracelet,looking at viewer,tattoo,short hair,white shirt,blurry background,black hair,blurry,belt,necklace,beard,dark skin,white pants,

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

上傳圖片,按住 S 鍵放大原圖,然后用畫筆涂抹人物頭部區(qū)域,點(diǎn)擊生成就會(huì)給我們換頭處理。如下圖,我沒有開高清修復(fù)和 After Detailer,所以面部融合不是很自然。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

開啟高清修復(fù)和 After Detailer 后,頭部質(zhì)量明顯提升,而且融合的相對(duì)比較自然,實(shí)測(cè)比圖生圖中的重繪幅度好用很多。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

?ControlNet 1.1 Tile

  1. 使用瓷磚控制Stable Diffusion
  2. 模型文件:control_v11f1e_sd15_tile.pth

介紹:讓一張模糊的圖片變成高清的圖片,或者是讓一張不清晰的圖變成超多細(xì)節(jié)的圖??勺饔糜诶险掌迯?fù),圖片高清化處理,非常的強(qiáng)大。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

實(shí)操案例(老照片修復(fù)):

大模型:RealisticVisionV2.0

圖生圖反推關(guān)鍵詞:
one family,dad,mom,the daughter sat on the bike,asiatic,
photo,shoot,(best quality:1.4),((absurdres)),(realistic:1.3),(masterpiece:1.3),Highly detailed,

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

啟用 Tiled Diddusion 和 Tiled VAE,放大算法切換為 R-ESRGAN 4X+,放大倍數(shù) 2 倍。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

啟用 controlnet,上傳老照片,使用 tile 模型,點(diǎn)擊生成即可得到一張修復(fù)后的高清大圖。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

3. 非官方發(fā)布模型

①reference

  1. 使用參考圖控制Stable Diffusion
  2. 模型文件:無(wú)模型文件

介紹:可以理解為墊圖,AI 會(huì)根據(jù)上傳的圖片進(jìn)行物體和風(fēng)格的參考進(jìn)行重新繪制,也可以通過(guò)關(guān)鍵詞描述改變物體動(dòng)作或形態(tài)。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

實(shí)操案例:

大模型:RealisticVisionV2.0

正向關(guān)鍵詞:
dog, on the grass, run

reference 沒有模型,只有一個(gè)預(yù)處理器,上傳圖片后,在正向關(guān)鍵詞中輸入描述詞就可以生成與原圖類似風(fēng)格的圖片效果。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

②recolor

  1. 使用重上色控制Stable Diffusion
  2. 模型文件:ioclab_sd15_recolor

介紹:為照片重新上色,比如黑白照片上色,也可以通過(guò)關(guān)鍵詞指定顏色(下圖無(wú)關(guān)鍵詞)。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

大模型:RealisticVisionV2.0

正向關(guān)鍵詞:red

啟用 controlnet,上傳黑白照片,在正向關(guān)鍵詞中輸入“紅色”關(guān)鍵詞,點(diǎn)擊生成之后,照片的整體色調(diào)就被賦予了紅色,如果想換成其他色調(diào)可通過(guò)調(diào)整關(guān)鍵詞切換。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

以上就是本篇 controlnet 模型的全部拆解,不知道大家對(duì)每一個(gè)模型是否都了解了,下面我給大家演示一個(gè)通過(guò) controlnet 插件完成背景生成的案例。

四、人物背景生成

1. 前期準(zhǔn)備

下面這個(gè)案例就是為二次元人物生成一個(gè)背景:

我們這個(gè)案例的思路就是通過(guò)圖生圖-上傳重繪蒙版功能生成背景,用 controlnet 控制背景生成的準(zhǔn)確度。在前期的素材準(zhǔn)備方面,準(zhǔn)備一張白底圖和黑白蒙版圖。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

然后就是大模型和 Lora,因?yàn)槲覀冎黧w是一個(gè)動(dòng)漫二次元人物,所以我們的大模型和 lora 也需要用到同一風(fēng)格的。

大模型:AWPainting_v1.2.safetensors 丨 Lora:新春龍年春節(jié)插畫 _v2.0

正向關(guān)鍵詞描述你想讓畫面出現(xiàn)的元素:

chunjieV2,scenery,lantern,outdoors,snow,architecture,east asian architecture,sky,day,paper lantern,building,blue sky,solo,winter,Spring Festival,Celebration,Chinese New Year,Celebration,Traditional Chinese architecture,scene,,

春節(jié),風(fēng)景,燈籠,戶外,雪,建筑,東亞建筑,天空,天,紙燈籠,建筑,藍(lán)天,獨(dú)奏,冬天,春節(jié),慶典,春節(jié),慶典,中國(guó)傳統(tǒng)建筑,場(chǎng)景

Lora 權(quán)重 0.8,反向關(guān)鍵詞可自己選擇通用的。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

2. 基礎(chǔ)生圖

前期準(zhǔn)備工作完成后,就可以把這些素材填充到 web-ui 中了。

在上傳重繪蒙版這里,需要注意兩點(diǎn):

  1. 蒙版模糊度 10,蒙版模式為重繪非蒙版內(nèi)容;
  2. 重繪幅度為 1,因?yàn)槲覀冃枰?AI 100%參與生成。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

設(shè)置完上面一部分后,如果你點(diǎn)擊生成,那你的背景一定會(huì)有問題,因?yàn)槲覀冎煌ㄟ^(guò)黑白蒙版是無(wú)法精準(zhǔn)控制整個(gè)畫面的,我們還需要使用 controlnet 進(jìn)一步控制:

單元一:設(shè)置 lineart 預(yù)處理器和模型,控制人物身體線稿,確保背景不會(huì)出現(xiàn)另外一個(gè)角色;

單元二:設(shè)置 inpaint 預(yù)處理器和模型,這個(gè)局部重繪會(huì)讓人物和背景更加融合(可以不上傳原圖)。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

以上步數(shù)設(shè)置完成后,點(diǎn)擊生成,我們就為人物添加上了背景。

但是現(xiàn)在你會(huì)發(fā)現(xiàn)整張圖片的質(zhì)量并不高,人物在場(chǎng)景中沒有光影變化,所以我們還需進(jìn)行后續(xù)的修復(fù):

我們可以批量生成 8 張圖,挑選一張你所滿意的圖片,發(fā)送到圖生圖。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

3. 后期修復(fù)

先把生成圖發(fā)送到圖生圖,然后重繪幅度設(shè)置為 0.3,設(shè)置 tiled diffusion 和 tiled VAE 插件。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

在 controlnet 這里設(shè)置 tile 模型進(jìn)行細(xì)節(jié)的修復(fù),點(diǎn)擊生成之后我們就得到了一張高清修復(fù)后的圖片。

到此處你還會(huì)發(fā)現(xiàn),生成后的人物主體發(fā)生了變化,那是因?yàn)槲覀兊闹乩L幅度 0.3 影響了人物主體。但是我們?nèi)绻O(shè)置更小的重繪幅度,整個(gè)場(chǎng)景包括人物的光影細(xì)節(jié)都不會(huì)有變化,所以我們可以讓 SD 休息會(huì)了,剩下的交給 Photoshop 來(lái)修復(fù)。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

到 PS 中,我們就可以把原圖的人物覆蓋上去,然后各位就在 PS 中各顯神通,把原圖用圖層蒙版功能涂涂抹抹,最后我們就得到了一張高清的二次元新春圖了。

深度解析!ControlNet模型的工作原理與應(yīng)用場(chǎng)景(附案例解析)

五、結(jié)語(yǔ)

以上就是本教程的全部?jī)?nèi)容了,重點(diǎn)介紹了 controlnet 模型,當(dāng)然還有一些小眾的模型在本次教程中沒有出現(xiàn),目前 controlnet 模型確實(shí)還挺多的,所以重點(diǎn)放在了官方發(fā)布的幾個(gè)模型上。

熟悉并掌握每個(gè)模型的作用后,你就可以靈活的在 web ui 中使用這些模型,還有各種模型之間的搭配。本教程的案例只是眾多商業(yè)化設(shè)計(jì)中的一個(gè)操作流程,之后我還會(huì)分享更多的商業(yè)設(shè)計(jì)工作流,你可以在我的主頁(yè)獲取鏈接我的方式,期待與大家的交流。

最后最后,新年快樂啦,發(fā)布上線本篇教程后,我就溜溜球了,放假放假~

收藏 108
點(diǎn)贊 67

復(fù)制本文鏈接 文章為作者獨(dú)立觀點(diǎn)不代表優(yōu)設(shè)網(wǎng)立場(chǎng),未經(jīng)允許不得轉(zhuǎn)載。