大家好，這里是和你們一起探索 AI 繪畫的花生~

知名 Stable Diffusion 插件 ControlNet 在 9 月初迎來了一次比較大的更新，新增了 Recolor 和 IP-Adapter 2 個新模型，更重要的是支持 xl 系列的控制模型，可以配合 SDXL 大模型使用，今天就一起來看看如何在 Stable Diffusion WebUI 中使用這些新模型~

往期回顧：

一、Controlnet 插件更新

ControlNet v1.1.4 更新介紹： https://github.com/Mikubill/sd-webui-controlnet/discussions/2039 （重要，必看）

因為要兼容 SDXL 的生態(tài)，所以在使用新版 Controlnet 模型前，需要先做好以下準(zhǔn)備：

① 將 SD WebUI 更新到 v1.6.0 或之后的版本，Controlnet 也需要更新到 v1.1.4 或之后的版本，使用秋葉安裝包的小伙伴可以直接在啟動器的「版本管理」內(nèi)完成更新。

② 開啟顯存優(yōu)化。8 ~16GB 的顯存（包括 8GB），需要開啟中等顯存優(yōu)化“--medvram-sdxl”；小于 8GB 的顯存（如 6GB 或 4GB），需要開啟低顯存優(yōu)化“--lowvram”。

相關(guān)設(shè)置完成后，再啟動 WebUI，就會在 Controlnet 的預(yù)處理器列表中看到新增的 Revision、Recolor 和 IP-Adapter，然后我們要下載新的模型。

二、Controlnet 新模型下載

模型下載： https://huggingface.co/lllyasviel/sd_control_collection/tree/main （文末有資源包）

在此次的更新公告中，ControlNet 官方一共列舉了 43 種新的控制模型，其中 3 款是用于 SD1.5 的，其余的都是 XL 系列的控制模型。因為這些模型來自多個不同的開發(fā)方，有很多的功能是重復(fù)的，所以我們不需要全部下載，只選擇一個系列使用即可。比如 Stability AI 推出的 sai_xl 256 系列，或者騰訊推出的 t2i 系列。其余的注意事項包括：

1. 名稱帶 xl 的控制模型只能與 SDXL 系列的大模型配合使用；
2. 名稱帶 xl 的控制模型沒有配對的 yaml 預(yù)處理器；
3. Revision 和 Reference 這 2 款預(yù)處理器同樣適用于 SDXL，但不需要控制模型。

控制模型下載完成后，放到到根目錄的 extensions\sd-webui-controlnet\models 文件夾。回到 WebUI 中， 刷新 controlnet 模型列表，即可看到新安裝的 xl 控制模型。

三、適用于 SD1.5 的 2 款新模型

此次更新的 ControlNet 模型雖然大部分都是 XL 系列的，但還是有 2 款適用于 SD1.5，也就是 Recolor （重新上色）和 IP-Adapter （風(fēng)格遷移），一起來看一下它們的用法。

1. Recolor

Recolor 可以對圖像重新上色，具體操作步驟如下：

上傳一張黑白圖像到 ControlNet 中，勾選啟用、完美像素；

預(yù)處理選 recolor_luminance，模型選擇 ioclab_sd15_recolor；

填寫其他生成參數(shù)，然后點擊生成即可。

1. 大模型：realisticVisionV20
2. 正向提示詞：a man with glasses, on the street, high quality, photo
3. 反向提示詞：drawing, anime, low quality, distortion
4. Steps: 30, Sampler: DPM++ SDE Karras, CFG scale: 7, Size: 512x512, Clip skip: 2, ControlNet 0: "Module: recolor_luminance, Model: ioclab_sd15_recolor [6641f3c6], Weight: 1, Resize Mode: Crop and Resize, Low Vram: False, Threshold A: 1, Guidance Start: 0, Guidance End: 1, Pixel Perfect: True, Control Mode: Balanced"

2. IP-Adapter

Ip-adapter 由騰訊 AI 實驗室推出，它可以識別一張圖像的風(fēng)格、材質(zhì)、內(nèi)容等特性，遷移運用到新圖像中，生成類似的圖像，并且可以搭配其他的 ControlNet 模型使用，功能可以理解為簡易版的 Lora 模型，具體使用方法如下：

在 ControlNet 中上傳一張風(fēng)格化圖像，勾選啟用、完美像素；

預(yù)處理選 ip-adapter_clip_sd15，模型選擇 ip-adapter_sd15；

填寫其他生成參數(shù)：

1. 大模型：Dreamsharp8
2. 正向提示詞：(masterpiece, best quality),1girl with long white hair sitting in a field of green plants and flowers,her hand under her chin,warm lighting,white dress,blurry foreground,
3. 反向提示詞：easynegative,(nsfw:1.1),
4. Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Size: 768x768, Clip skip: 2, ControlNet 0: "Module: ip-adapter_clip_sd15, Model: ip-adapter_sd15 [6a3f6166], Weight: 1, Resize Mode: Crop and Resize, Low Vram: False, Processor Res: 512, Guidance Start: 0, Guidance End: 1, Pixel Perfect: False, Control Mode: Balanced"
5. 點擊生成，完成后即可看到一張與參考圖像風(fēng)格類似的新圖像。

如果你在使用 Ip-adapter 模型時，控制臺出現(xiàn)如下錯誤提示：

可以去文末的網(wǎng)盤鏈接中下載 clip_vision 文件夾中的 2 個.pth 文件，安裝到 WebUI 根目錄的 extensions\sd-webui-controlnet\annotator\downloads\clip_vision 文件夾中，重啟后即可正常使用。

四、適用于 SDXL 的控制模型

XL 系列的控制模型也都是 canny、depth、sketch 之類，在功能與 SD1.5 是一樣的，所以使用方法也從差不多，但有以下 2 點需要注意：

1. 使用 SDXL 系列大模型時，需要使用 --no-half-vae 模式，即在秋葉啟動器中關(guān)閉 “VAE 模型半精度優(yōu)化”選項。
2. 生成的圖像尺寸在 1024px 左右為佳，不能低于 768px；

下面以 sai_xl_canny_256lora 模型為例，為大家演示一下 xl 控制模型的用法。

①選擇一個 SDXL 系列的大模型，比如 sd_xl_base_1.0 或者 DreamsharpXL10；

②上傳一張圖像到 ControlNet 中，勾選啟用、完美像素、允許預(yù)覽；

③預(yù)處理器選擇 canny，模型選擇 sai_xl_canny_256lora，點擊爆炸小圖標(biāo)預(yù)覽線稿。

④填寫生成信息：

1. 正向提示詞：a man wearing glasses,on the street
2. 反向提示詞：(nsfw:1.2),lowres,bad anatomy,bad hands,text,error,missing fingers,extra digit,fewer digits,cropped,worst quality,low quality,normal quality,jpeg，artifacts,signature,watermark,username,blurry
3. 其他生成參數(shù)：Steps: 30, Sampler: Euler a, CFG scale: 7, Seed: 2670860720, Size: 1024x1024, ControlNet 0: "Module: canny, Model: sai_xl_canny_256lora [566f20af], Weight: 1, Resize Mode: Crop and Resize, Low Vram: False, Processor Res: 512, Threshold A: 100, Threshold B: 200, Guidance Start: 0, Guidance End: 1, Pixel Perfect: False, Control Mode: Balanced", Version: v1.6.0

點擊生成后，發(fā)現(xiàn)圖像效是黑白的，非常模糊，需要進行優(yōu)化。將 ControlNet 的控制模式改為“更偏向 ControlNet”，并且調(diào)整 CFG 數(shù)值為 3，再次點擊生成，圖像就恢復(fù)正常了。

就目前在 SD WebUI 中的使用體驗來說，用 SDXL 大模型生成一張圖像耗費的時間會比 SD 1.5 多很多 ；xl 系列的 ControlNet 模型功能也不穩(wěn)定，可能會出現(xiàn)問題，且新版的 ControlNet 可能會影響一些其他插件的使用，比如 Deforum。 所以從使用效率的角度來看，我仍然建議大家優(yōu)先使用 SD1.5 生態(tài)內(nèi)的模型，不必急于使用 XL 模型。

以上就是本期為大家推薦的 ControlNet v1.1.4 的版本更新介紹。喜歡本期內(nèi)容的話記得點贊收藏支持一波，之后會繼續(xù)為大家?guī)砀?AI 繪畫干貨知識 ~

也歡迎大家掃描下方的二維碼加入“優(yōu)設(shè) AI 繪畫交流群”，和我及其他 設(shè)計師 一起交流學(xué)習(xí) AI 知識~

如果你想更快速高效地了解 Stable Diffusion，歡迎報名我的課程《AI 繪畫入門完全指南》，我會帶你了解它的整個生態(tài)體系，并系統(tǒng)的講解 Stable Diffusion WebUI 的用法，之后再出現(xiàn)如 Fooocus、Imagecreator 這樣的新工具時，你也能立刻輕松上手！

《AI 繪畫入門完全指南》課程鏈接： AI 繪畫入門完全指南（新課特惠） (uisdc.com)

課程形式：錄播 + 課程群交流輔導(dǎo)

課程內(nèi)容：

1. Midjourney 與 Stable Diffusion WebUI 的系統(tǒng)入門教學(xué)；
2. 各類實用工具、提示詞資源、AI 效率神器分享，附贈花生個人 midjourney 提示詞庫；
3. AI 繪畫工具發(fā)展歷程梳理，Stable Diffusion 開源生態(tài)體系介紹，幫初學(xué)者補全信息差；
4. AI 繪畫版權(quán)問題解析，幫使用者避開潛在風(fēng)險，保護自身權(quán)益。

推薦閱讀：