前言

Hello，大家好，言川又來(lái)寫(xiě)教程啦??！這是一篇繼《外婆都能看懂的 Stable Diffusion 入門(mén)教程》教程之后的一篇文章，如果你還沒(méi)有安裝并了解 stable diffusion 這個(gè)軟件，那么你一定要先去看看入門(mén)教程的文章，然后安裝 stable diffusion。

一、Controlnet（圖像精準(zhǔn)控制）是什么？

ControlNet 是一個(gè)用于控制 AI 圖像生成的插件。它使用了一種稱(chēng)為"Conditional Generative Adversarial Networks"（條件生成對(duì)抗網(wǎng)絡(luò)）的技術(shù)來(lái)生成圖像。與傳統(tǒng)的生成對(duì)抗網(wǎng)絡(luò)不同，ControlNet 允許用戶(hù)對(duì)生成的圖像進(jìn)行精細(xì)的控制。這使得 ControlNet 在許多應(yīng)用場(chǎng)景中非常有用，例如計(jì)算機(jī)視覺(jué)、藝術(shù)設(shè)計(jì)、虛擬現(xiàn)實(shí)等等?？傊?，ControlNet 可以幫助用戶(hù)精準(zhǔn)控制 AI 圖像的生成，以獲得更好的視覺(jué)效果。

看著有點(diǎn)復(fù)雜是不是，沒(méi)關(guān)系，我給你們總結(jié)一下：

在 ControlNet 出現(xiàn)之前，我們?cè)谏蓤D片之前，永遠(yuǎn)的不知道 AI 能給我們生成什么，就像抽卡一樣難受。

ControlNet 出現(xiàn)之后，我們就能通過(guò)模型精準(zhǔn)的控制圖像生成，比如：上傳線稿讓 AI 幫我們填色渲染，控制人物的姿態(tài)、圖片生成線稿等等。

這下看懂了嗎，就很哇塞，大家可能網(wǎng)上看到一些線稿生成的圖片，就是用到的這個(gè) ControlNet，Stable Diffusion 必裝的插件之一。

二、Controlnet 插件安裝

首先，咱們先打開(kāi)秋葉大佬的啟動(dòng)器，并且點(diǎn)擊更新（切換）到最新版本，這一步的目的是為了防止出現(xiàn)奇奇怪怪的報(bào)錯(cuò)。

然后我們啟動(dòng) "web-UI"，打開(kāi)擴(kuò)展，并在這里輸入該網(wǎng)址： https://jihulab.com/hanamizuki/sd-webui-controlnet ，然后點(diǎn)擊安裝等待一會(huì)...（安裝沒(méi)反應(yīng)或者錯(cuò)誤的注意網(wǎng)絡(luò)問(wèn)題，網(wǎng)上還有別的辦法，我測(cè)試了下，這個(gè)是成功安裝的）

等待一會(huì)，在這邊底部就有一個(gè)信息提示，實(shí)際上就是告訴你安裝的地址，這里我已經(jīng)提前安裝了，所以顯示的可能跟大家不一樣。

然后回到”已安裝“這里，可以看到下面就出現(xiàn)了擴(kuò)散控制網(wǎng)絡(luò)（Controlnet 插件）了，然后點(diǎn)擊”應(yīng)用并重啟用戶(hù)界面"。

回到”文生圖“這里，就看到 Controlnet 已經(jīng)成功安裝了。

三、Controlnet 模型安裝

插件安裝完成之后，還沒(méi)完，我們需要安裝下模型，跟著我做，首先去這個(gè)鏈接下載： https://huggingface.co/lllyasviel/ControlNet/tree/main/models

把下載的模型全部選中復(fù)制（ctrl+c）一下，我們需要移動(dòng)到對(duì)應(yīng)文件夾中。

看我的文件路徑，別搞錯(cuò)了，把文件復(fù)制到這里來(lái)（一定不要復(fù)制到 Stable Diffusion 模型中去了）

重啟 UI，耐心等待一下......

look，這就是成功安裝的樣子，很可愛(ài)呢~如果你沒(méi)有，那說(shuō)明你模型沒(méi)安裝到位置，仔細(xì)檢查下吧。

四、模型說(shuō)明及案例演示

介紹幾個(gè)常用的 controlnet 模型教程，注意看哦。跟著我一步步的操作就沒(méi)什么問(wèn)題的，加油！

1. Canny 邊緣檢測(cè) (Canny edge detection)

Canny 用于識(shí)別輸入圖像的邊緣信息。從上傳的圖片中生成線稿，然后根據(jù)關(guān)鍵詞來(lái)生成與上傳圖片同樣構(gòu)圖的畫(huà)面。

來(lái)跟著我的操作來(lái)一遍。

首先我們把模型和 lora 選擇好，因?yàn)槲疫@里上傳的是一個(gè)真實(shí)的模特，所以像最大程度的還原，模型一定要對(duì)。這里我用到的是這兩個(gè)模型。

然后輸入關(guān)鍵詞：

1girl, solo, smile, realistic, grin, looking at viewer, brown eyes, brown hair, ponytail, upper body, simple background, small breasts, breasts, blue background, teeth, lips, bare shoulders, long hair, black hair

女孩，獨(dú)奏，微笑，現(xiàn)實(shí)，咧嘴笑，看著觀眾，棕色的眼睛，棕色的頭發(fā)，馬尾辮，上身，簡(jiǎn)單的背景，xxx，xx，藍(lán)色的背景，牙齒，嘴唇，裸露的肩膀，長(zhǎng)發(fā)，黑發(fā)

打開(kāi) Controlnet，選擇 Canny 邊緣檢測(cè)，模型選擇對(duì)應(yīng)的 canny 模型。

上傳圖片，并勾選啟用。

點(diǎn)擊下方的“預(yù)覽預(yù)處理結(jié)果”這一步是生成線稿。然后就會(huì)出現(xiàn)上面那張線稿圖。

最后我們勾選下“DPM++SDE Karras”，開(kāi)始生圖

來(lái)看下原圖和生成圖片的對(duì)比，姿態(tài)構(gòu)圖基本一致。如果你想換頭發(fā)顏色、面部細(xì)節(jié)、服裝等等，就可以通過(guò)關(guān)鍵詞來(lái)控制。這個(gè)功能學(xué)會(huì)了吧，那咱們講下一個(gè)。

言川小知識(shí)：

可以看到上面生成的模特臉部頭發(fā)絲有點(diǎn)亂，可以調(diào)整這個(gè)預(yù)處理器分辨率（下面兩個(gè)同樣也是調(diào)整線稿的精細(xì)層度），越高生成的效果與原圖越相像，同樣也會(huì)越吃顯存，小心使用。

下面這 2 個(gè)也是同樣的做法，它們的主要區(qū)別是邊緣檢測(cè)算法不同，具體選擇哪個(gè)各位去嘗試一下，玩法基本一致，我這里就不做演示了。（注意右側(cè)的模型要選擇對(duì)應(yīng)的預(yù)處理器。）

2. M-LSD （建筑物繪制）

通過(guò)分析圖片中的線條結(jié)構(gòu)和幾何形狀，可以構(gòu)建建筑物的外框，適合建筑、室內(nèi)設(shè)計(jì)的朋友使用。

①切換預(yù)處理器和相應(yīng)模型。

②上傳一張室內(nèi)設(shè)計(jì)的圖片，然后點(diǎn)擊“預(yù)處理結(jié)果”，（第一次用這個(gè)，控制臺(tái)會(huì)更新一段時(shí)間）。

③輸入關(guān)鍵詞

pearl white walls, windsor gray floors, bedroom, Natural lighting, earthly tones, simple and clean, trending on interior design, digital artwork by Audrey kawasaki, Smooth, Detailed, Artstation, Neutral colors, elegant

珍珠白的墻壁，溫莎灰色的地板，臥室，自然光，樸實(shí)的色調(diào)，簡(jiǎn)單干凈，室內(nèi)設(shè)計(jì)的趨勢(shì)，由 Audrey kawasaki 設(shè)計(jì)的數(shù)字藝術(shù)品，光滑，細(xì)節(jié)，藝術(shù)站，中性色，優(yōu)雅

可以看到，圖片生成的效果還是不錯(cuò)的，跟原圖的構(gòu)圖基本一致，當(dāng)然還有更多的細(xì)節(jié)需要調(diào)整，大家可以調(diào)整這塊的參數(shù)即可。

3. 法線貼圖 (Normal map)

從原圖中提取 3D 物體的法線向量，繪制的新圖與原圖的光影效果完全相同。

①切換預(yù)處理器和模型

②上傳一張圖片，然后點(diǎn)擊“預(yù)覽預(yù)處理結(jié)果”，然后就會(huì)給你生成一張法線圖（懂 3 維的小伙伴應(yīng)該都知道這個(gè)）

③繼續(xù)輸入關(guān)鍵詞，等待生圖....

Mercedes-Benz AMG GT, staring out of the window with regal air, Moody lighting, High detail, realistic fur texture, Digital painting, trending on artstation

梅賽德斯-奔馳 AMG GT，凝視窗外的皇家空氣，穆迪照明，高細(xì)節(jié)，逼真的皮毛紋理，數(shù)字繪畫(huà)，藝術(shù)站的趨勢(shì)

怎么說(shuō)呢，就是牛?。?！背景細(xì)節(jié)等都可以通過(guò)關(guān)鍵詞來(lái)控制，其他調(diào)整參數(shù)與上面一樣。

言川小知識(shí)：這個(gè)模型主要是通過(guò) RGB 顏色通道來(lái)標(biāo)記表示凹凸，生成的圖片立體感很強(qiáng)。

可以看到，圖片生成的效果還是不錯(cuò)的，跟原圖的構(gòu)圖基本一致，當(dāng)然還有更多的細(xì)節(jié)需要調(diào)整，大家可以調(diào)整這塊的參數(shù)即可。

4. OpenPose 姿態(tài)檢測(cè)

通過(guò)姿勢(shì)識(shí)別實(shí)現(xiàn)對(duì)人體動(dòng)作的精準(zhǔn)控制，不僅可以生成單人的姿勢(shì)，還可以生成多人的姿勢(shì)。

此外，由于 AI 生成的手部有問(wèn)題，OpenPose 還有一個(gè)手部檢測(cè)模型，大大改善了奇奇怪怪的手。

①切換預(yù)處理器和模型。

②上傳一張圖片，然后點(diǎn)擊“預(yù)覽預(yù)處理結(jié)果”，注意，第一次選中這個(gè)模型開(kāi)始預(yù)處理的時(shí)候，會(huì)更新一段時(shí)間，可以在“控制臺(tái)”查看更新進(jìn)度，更新完成之后再次點(diǎn)擊“預(yù)處理”就可以看到 AI 識(shí)別的圖了。

看看預(yù)處理結(jié)果：

③輸入關(guān)鍵詞，等待生圖....

1girl, solo, dress, braid, hairband, earrings, smile, brown eyes, white dress, realistic, jewelry, long hair, black hair, looking at viewer, bare shoulders, lips, blue hairband, single braid, brown hair, simple background

女孩，獨(dú)奏，連衣裙，辮子，發(fā)帶，耳環(huán)，微笑，棕色眼睛，白色連衣裙，現(xiàn)實(shí)主義，珠寶，長(zhǎng)發(fā)，黑發(fā)，看著觀眾，裸露的肩膀，嘴唇，藍(lán)色發(fā)帶，單發(fā)帶，棕色頭發(fā)，簡(jiǎn)單的背景

這手奇奇怪怪的，沒(méi)事，可以試試 OpenPose 手部檢測(cè)模型，操作是一樣的，自己去嘗試哈，細(xì)節(jié)調(diào)起來(lái)操作很多，一點(diǎn)點(diǎn)嘗試，肯定能成功的。

5. Scribble （涂鴉）

使用 Scribbles 模型，可以根據(jù)草圖（涂鴉）繪制出精美的圖片，對(duì)于那些沒(méi)有接受過(guò)美術(shù)訓(xùn)練或缺乏繪畫(huà)天賦的人來(lái)說(shuō)，這是非常棒的。

①切換預(yù)處理器和模型。（第一次用這個(gè)，控制臺(tái)會(huì)更新一段時(shí)間）

②點(diǎn)擊“創(chuàng)建空白畫(huà)布”。

③然后在這里畫(huà)線稿，這里我畫(huà)一盞煤油燈，我是用的鼠標(biāo)繪制的，畫(huà)的不好，做個(gè)演示。有手繪板的同學(xué)可以用手繪板繪制一下。

④輸入關(guān)鍵詞：

old electronic kerosene lamp in anthracite blue metal, warm orange metal reflections, Intricate, Highly detailed, Warm lighting, Sharp focus, Digital painting, Artstation, Concept art, trending, inspired by art by Zdenek Burian and frederick catherwood

舊電子煤油燈在無(wú)煙煤藍(lán)色金屬，溫暖的橙色金屬反射，錯(cuò)綜復(fù)雜，高度詳細(xì)，溫暖的照明，銳利的焦點(diǎn)，數(shù)字繪畫(huà)，藝術(shù)站，概念藝術(shù)，趨勢(shì)，靈感來(lái)自藝術(shù) zdenek burian 和 frederick catherwood

我畫(huà)的不標(biāo)準(zhǔn)哈，做個(gè)演示，這個(gè)模型是根據(jù)你繪畫(huà)的線稿精準(zhǔn)控制物體的構(gòu)圖、構(gòu)造。細(xì)節(jié)根據(jù)關(guān)鍵詞來(lái)控制。

這里可能就有小伙伴疑問(wèn)了，在 SD 里面直接繪制不是很方便，能不能通過(guò)其他軟件繪制之后上傳線稿生圖呢，of course，看下面：

1）上傳線稿圖，點(diǎn)擊“預(yù)覽預(yù)處理器結(jié)果”。

2）輸入上面的關(guān)鍵詞，然后生成圖片：

完事，同樣細(xì)節(jié)需要你們自己去調(diào)整。

6. fake-scribble（偽涂鴉）

這個(gè)是不需要我們繪畫(huà)的，上傳一張圖片，它會(huì)幫我們生成涂鴉效果。

①切換預(yù)處理器，模型不用切換。

②上傳圖片，然后點(diǎn)擊“預(yù)覽預(yù)處理器結(jié)果”。（第一次用這個(gè)，控制臺(tái)會(huì)更新一段時(shí)間）

說(shuō)實(shí)話(huà)，畫(huà)的還不如我呢...

③輸入關(guān)鍵詞：

Espresso, set in a cozy office space with warm lighting, surrounded by office plants, books, and a cup of coffee on the desk, Detailed, Intricate, Smooth, Trending on Artstation, by artists such as loish and rossdraws and sam yang

意式濃縮咖啡，設(shè)置在一個(gè)舒適的辦公空間，溫暖的照明，周?chē)霓k公植物，書(shū)籍，和一杯咖啡在桌子上，詳細(xì)，復(fù)雜，流暢，在 Artstation 趨勢(shì)，由藝術(shù)家如 loish 和 rossdraw 和 sam yang

效果嘎嘎棒！??！

7. Semantic Segmentation（語(yǔ)義分割繪制）

Semantic Segmentation 語(yǔ)義分割是一種深度學(xué)習(xí)算法，重點(diǎn)關(guān)注 語(yǔ)義 一詞，這種算法將一個(gè)標(biāo)簽或類(lèi)別與圖像聯(lián)系起來(lái)，被用來(lái)識(shí)別形成不同類(lèi)別的像素集合。具體還是看我的操作：

①切換預(yù)處理器和模型

②上傳圖片，然后點(diǎn)擊“預(yù)覽預(yù)處理器結(jié)果”。

可以看到，預(yù)處理階段生成了一張五顏六色的圖片，這就是語(yǔ)義分割圖，這圖中的每一種顏色都代表了一類(lèi)物品，比如紫色（#cc05ff）代表床（bed），橙黃色（#ffc207）代表墊子（cushion），金黃色（#e0ff08）代表臺(tái)燈（lamp）。

這是一份色值表格，大家自?。?/p>

③這里我就不輸入關(guān)鍵詞了，讓 sd 自由發(fā)揮

言川小知識(shí)：可以在 PS 上繪制一個(gè)色塊的物體（比如人，放在這個(gè)橋上，對(duì)應(yīng)官方的色值），然后導(dǎo)入到語(yǔ)義分割這里來(lái)，輸入相應(yīng)的關(guān)鍵詞，就可以精準(zhǔn)控制圖像的效果了。

注意看注意看：

這里我講下這個(gè)小功能，前面兩個(gè)是打開(kāi)攝像頭的功能，我沒(méi)試過(guò)，你們想玩可以試一下啊。主要講一下后面的那個(gè)小箭頭。

這個(gè)箭頭的功能是把你上傳圖片的分辨率，自動(dòng)填充上去。

（本文部分圖片素材來(lái)自網(wǎng)上）

七、寫(xiě)在最后

以上就是這篇 Controlnet 插件的基礎(chǔ)教程啦，當(dāng)中還有很多高級(jí)的玩法，我會(huì)在后續(xù)一步步分享給大家。

如果覺(jué)得對(duì)你有幫助，3 連（點(diǎn)贊、收藏、分享）一下吧，大家的支持才是我的動(dòng)力，祝大家生活愉快

歡迎添加作者微信交流：