大家好，這里是和你們一起探索 AI 的花生~

Controlnet 可以說(shuō)是目前最重要的一款 AI 繪畫控制插件，可以幫我們實(shí)現(xiàn)輪廓、深度、動(dòng)作姿勢(shì)、顏色等多種控制效果。由于每種控制條件都需要調(diào)用不同的控制模型，加上 SD1.5 和 SDXL 的生態(tài)并不互通，大家肯定都至少安裝了十幾種模型文件，給磁盤空間帶來(lái)了很大的壓力。

最近一款名為 ControlNet++ 的模型卻改變了這個(gè)狀況，它將十多種控制功能合為一體，只需要安裝一個(gè)模型，就能和多種不同的預(yù)處理器搭配使用，今天就來(lái)看看它的具體用法。

相關(guān)推薦：

一、ControlNet++簡(jiǎn)介

ControlNet++，也稱為 ControlNetPlus，目前更普遍的稱呼是 Controlnet Union，它是一款新訓(xùn)練的 ControlNet 控制架構(gòu)，融合了 10 多種控制模型，適用于 SDXL 1.0 生態(tài)。與獨(dú)立控制模型相比，它的處理效果沒(méi)有明顯下降，使用起來(lái)也非常方便，所以推出后很快就受到了廣泛關(guān)注。

Controlnet Union 融合的控制類型一共有 13 種，可以分為 6 大類：

1. openpose 動(dòng)作姿勢(shì)
2. depth 深度
3. thick line 粗線條 (包括：scribble / hed / softedge / ted-512 )
4. thin line 細(xì)線條 (包括：canny / mlsd / lineart / animelineart / ted-1280 )
5. normal 法線貼圖
6. segment 語(yǔ)義分割

除了單獨(dú)使用，Controlnet Union 也支持多重控制。也就是我們可以同時(shí)開(kāi)兩個(gè)控制窗口，使用不同的預(yù)處理器，然后同時(shí)選擇 Controlnet Union 做為控制模型，這樣運(yùn)行起來(lái)顯存壓力更小。

Controlnet Union 的模型權(quán)重已經(jīng)開(kāi)源，目前 SD WebUI 和 ComfyUI 都可以使用，下面介紹具體的安裝方法。

二、在 SD WebUI 中使用

模型下載鏈接： https://huggingface.co/xinsir/controlnet-union-sdxl-1.0/tree/main （文末有資源包）

從 Huggingface 上下載名為 diffusion_pytorch_model.safetensor 的模型文件，為了方便識(shí)別，將其名稱改為 controlnet++_union_sdxl.safetensor，然后放到根目錄的 extensions\sd-webui-controlnet\models 文件夾中。

將 Controlnet 插件更新到最新版本，然后啟動(dòng) WebUI，就能在 Controlnet 控制列表里看到 controlnet union 的選項(xiàng)了，使用時(shí)記得選擇 SDXL 系列的大模型。我的顯存是 8G，在用 controlnet union 時(shí)出現(xiàn)了內(nèi)存不足的報(bào)錯(cuò)，但是使用獨(dú)立模型時(shí)不會(huì)有這樣的問(wèn)題，感覺(jué) union 還是會(huì)需要更高的 VRAM。

另外 controlnet union 目前不適用于以下預(yù)處理器：

1. 帶面部和手部的姿勢(shì)骨架的模型，比如 openpose_full，openpose_hand、openpose_faceonly 等，因?yàn)?union 沒(méi)有對(duì)這些內(nèi)容進(jìn)行訓(xùn)練，生成的圖像會(huì)出現(xiàn)錯(cuò)誤。
2. seg_ofade20k 語(yǔ)義分割預(yù)處理器。

三、在 ComfyUI 中使用

如果想在 ComfyUI 中使用 Controlnet Union，同樣先下載文件，改名后并安裝到 ComfyUI\models\controlnet 文件夾，或者 SD WebUI 共用路徑中的 models\controlnet 文件夾中（模型資源可以在文末資源包中下載）。

下圖是一個(gè)最基礎(chǔ)的 controlnet 調(diào)用工作流（文末資源包可下載），在 ComfyUI 中運(yùn)行起來(lái)非常順利，沒(méi)有出現(xiàn)爆顯存的情況。運(yùn)行此工作流前，需要注意：

1. 圖像尺寸記得與上傳的圖像保持一致；
2. 選擇 SDXL 大模型，如果模型不同，生成步數(shù)、CFG、采樣器等參也需要同步修改；
3. 檢查是否正確地選擇了 controlnet union 模型。

我還搭建了一個(gè)多重控制工作流，可以同時(shí)使用兩種控制條件（超過(guò)兩個(gè)后 controlnet union 的效果就會(huì)變差），使用時(shí)可以多嘗試不同的 contorlnet 強(qiáng)度，獲取更好的效果。對(duì)于新手來(lái)說(shuō)，可以先熟悉這兩個(gè)基礎(chǔ)工作流的節(jié)點(diǎn)構(gòu)成，等熟悉之后就能將 controlnet union 結(jié)合到其他更復(fù)雜的工作流中了。

那么以上就是對(duì)新的 AI 繪畫控制模型 Controlnet Union 的介紹，從總體上來(lái)說(shuō)它的效果還是不錯(cuò)的，而且使用更方便，也省空間，非常推薦大家都使用。當(dāng)然如果你想要更精致的出圖效果，用最新的獨(dú)立模型效果肯定會(huì)更好。

文章相關(guān)鏈接：

1. https://github.com/xinsir6/ControlNetPlus/blob/main/README_zh.md
2. https://github.com/Mikubill/sd-webui-controlnet/discussions/2989

如果你還不了解 Stable Diffusion 的用法，可以看看我最新制作的 《零基礎(chǔ) AI 繪畫入門指南》，這是一門面向 AI 繪畫零基礎(chǔ)人群的系統(tǒng)課程，有全面細(xì)致的用法教學(xué)，并提供配套資源，能幫你快速掌握這款目前最熱門的 AI 繪畫工具。

想了解更多 AI 新鮮資訊的話，歡迎關(guān)注 優(yōu)設(shè) AI 自學(xué)網(wǎng) 和優(yōu)設(shè)微信視頻號(hào)，每天都會(huì)分享最新的 AIGC 資訊和神器，讓你輕松掌握 AI 發(fā)展動(dòng)態(tài)。如果有關(guān)于文章的問(wèn)題，歡迎在評(píng)論區(qū)留言，或者下方的二維碼加入“優(yōu)設(shè) AI 繪畫交流群”，和我及其他 設(shè)計(jì)師 一起交流學(xué)習(xí) AI 知識(shí)~

推薦閱讀：