Stable Diffusion ComfyUI 進(jìn)階教程(一):Controlnet 線條預(yù)處理器

前言:

  1. 我們在前面的基礎(chǔ)教程中已經(jīng)知道怎么去連接 Controlnet 了,接下來我們就要去了解一下不同的 Controlnet 預(yù)處理器以及 Controlnet 模型分別有什么效果和作用;
  2. 我們先從最常用的“線條預(yù)處理器”開始,這也是我們最常用的預(yù)處理器之一,我們做動漫轉(zhuǎn)真人、真人轉(zhuǎn)動漫、線稿上色等效果時(shí)必用的一個(gè)預(yù)處理器;
  3. 我們會在“Controlnet 預(yù)處理器-線條”線條里面發(fā)現(xiàn) 14 個(gè)不同的預(yù)處理器,插件作者一直在更新,也許過段時(shí)間大家會看到更多的預(yù)處理器。

一、線稿

1. Canny 細(xì)致線預(yù)處理器:

Stable Diffusion ComfyUI 進(jìn)階教程(一):Controlnet 線條預(yù)處理器

①介紹:識別圖像中的邊緣信息,并生成物體的線稿。生成的線條十分明顯,粗細(xì)、顏色一致,沒有大的變化。

②閾值(數(shù)值區(qū)間:0-255):

  1. 低閾值:控制弱邊緣檢測閾值,數(shù)值越低線條越復(fù)雜/細(xì)節(jié)越豐富,數(shù)值越高線條越簡單/細(xì)節(jié)越少;
  2. 高閾值:控制強(qiáng)邊緣檢測閾值,數(shù)值越低線條越復(fù)雜/細(xì)節(jié)越豐富,數(shù)值越高線條越簡單/細(xì)節(jié)越少;

③對應(yīng)模型:

  1. SD1.5 模型:control_v11p_sd15_canny、t2iadapter_canny_sd1.5v2
  2. SDXL 模型:control-lora-canny-rank128、control-lora-canny-rank256

④效果預(yù)覽:

Stable Diffusion ComfyUI 進(jìn)階教程(一):Controlnet 線條預(yù)處理器

2. HED 模糊線預(yù)處理器:

Stable Diffusion ComfyUI 進(jìn)階教程(一):Controlnet 線條預(yù)處理器

①介紹:從圖像中提取邊緣線,相對于 Canny 處理的銳利邊緣線,HED 提供了邊緣過渡,可以保留更多柔和的邊緣細(xì)節(jié),類似手繪效果(好處:通過線條區(qū)分畫面層次,以及圖像中的柔和邊緣。能更好的融入畫面,減少畫面細(xì)節(jié)的突兀)

② 穩(wěn)增:開啟后會使提取的線條明暗對比更明顯,模糊內(nèi)容也會減少。選擇是否增穩(wěn),具體看圖片生成效果。

③對應(yīng)模型:

  1. SD1.5 模型:control_v11p_sd15_softedge
  2. SDXL 模型:暫無

④效果預(yù)覽:

Stable Diffusion ComfyUI 進(jìn)階教程(一):Controlnet 線條預(yù)處理器

3. PidiNet 模糊線預(yù)處理器:

Stable Diffusion ComfyUI 進(jìn)階教程(一):Controlnet 線條預(yù)處理器

①介紹:與 HED 類似,從圖像提取(有過渡)邊緣,因?yàn)樗惴ú煌?,效果也略有差異?/p>

②穩(wěn)增:開啟后會使提取的線條明暗對比更明顯,模糊內(nèi)容也會減少。選擇是否增穩(wěn),具體看圖片生成效果;

③對應(yīng)模型:

  1. SD1.5 模型:control_v11p_sd15_softedge、control_v11p_sd15_scribble、t2iadapter_sketch_sd15v2
  2. ?SDXL 模型:暫無

④效果預(yù)覽:

Stable Diffusion ComfyUI 進(jìn)階教程(一):Controlnet 線條預(yù)處理器

4. TEEDPreprocessor:

Stable Diffusion ComfyUI 進(jìn)階教程(一):Controlnet 線條預(yù)處理器

①介紹:與 HED 類似,從圖像提取邊緣以及柔和邊緣過渡,但線條細(xì)節(jié)更豐富;

②safe_steps:數(shù)值越小,柔和邊緣過渡區(qū)域越??;數(shù)值越大柔和邊緣過渡區(qū)域越大;(數(shù)值區(qū)間:0-10,0 與 10 效果相同)

③對應(yīng)模型:

  1. SD1.5 模型:control_v11p_sd15_softedge
  2. SDXL 模型:controlnet-sd-xl-1.0-softedge-dexined

④效果預(yù)覽:

Stable Diffusion ComfyUI 進(jìn)階教程(一):Controlnet 線條預(yù)處理器

5. LineArt 藝術(shù)線預(yù)處理器:

Stable Diffusion ComfyUI 進(jìn)階教程(一):Controlnet 線條預(yù)處理器

①介紹:從圖像中提取藝術(shù)線條風(fēng)格的邊緣線,相較于 Canny,Lineart 提取的線稿更加精細(xì),細(xì)節(jié)更加豐富;

②粗糙化:開啟后線條會變的粗糙潦草,控制效果也會減弱;

③對應(yīng)模型:

  1. SD1.5 模型:control_v11p_sd15_lineart
  2. SDXL 模型:暫無

④效果預(yù)覽:

Stable Diffusion ComfyUI 進(jìn)階教程(一):Controlnet 線條預(yù)處理器

6. LineArtStandard 藝術(shù)線預(yù)處理器:

Stable Diffusion ComfyUI 進(jìn)階教程(一):Controlnet 線條預(yù)處理器

①介紹:從圖像中提取藝術(shù)線條風(fēng)格的邊緣線,相較于 LineArt 藝術(shù)線預(yù)處理器,增加了亮面和暗面過渡區(qū)域(美術(shù)生小伙伴肯定熟悉,這就是我們畫畫時(shí)常說的明暗交界線)

②Guassian_sigma:用來控制高斯模糊的數(shù)值大??;數(shù)值越小,亮暗面過渡區(qū)域越?。粩?shù)值越大,亮暗面過渡區(qū)域越大;(數(shù)值區(qū)間:0-100)

③強(qiáng)度閾值:數(shù)值越小,亮暗面過度區(qū)域越大;數(shù)值越大,亮暗面過度區(qū)域越??;(數(shù)值區(qū)間:0-16)

④ 對應(yīng)模型:

  1. SD1.5 模型:control_v11p_sd15_lineart
  2. SDXL 模型:暫無

⑤效果預(yù)覽:

Stable Diffusion ComfyUI 進(jìn)階教程(一):Controlnet 線條預(yù)處理器

7. AnimeLineArt 動漫藝術(shù)線預(yù)處理器:

Stable Diffusion ComfyUI 進(jìn)階教程(一):Controlnet 線條預(yù)處理器

①介紹:從圖像中提取動漫藝術(shù)線條風(fēng)格的邊緣線,相比 LineArt 藝術(shù)線預(yù)處理器增加了類似 HED 的模糊過度細(xì)節(jié),不全是純粹的細(xì)線了。

②對應(yīng)模型:

  1. SD1.5 模型:control_v11p_sd15s2_lineart_anime
  2. SDXL 模型:暫無

③效果預(yù)覽:

Stable Diffusion ComfyUI 進(jìn)階教程(一):Controlnet 線條預(yù)處理器

8. MangaAnime 漫畫藝術(shù)線預(yù)處理器:

Stable Diffusion ComfyUI 進(jìn)階教程(一):Controlnet 線條預(yù)處理器

①介紹:從圖像中提取漫畫藝術(shù)線條風(fēng)格的邊緣線,輪廓凌厲且分明,適用從漫畫風(fēng)格圖像中提取線條

②對應(yīng)模型:

  1. SD1.5 模型:control_v11p_sd15s2_lineart_anime
  2. SDXL 模型:暫無

③效果預(yù)覽:

Stable Diffusion ComfyUI 進(jìn)階教程(一):Controlnet 線條預(yù)處理器

9. M-LSD 線段預(yù)處理器:

Stable Diffusion ComfyUI 進(jìn)階教程(一):Controlnet 線條預(yù)處理器

①介紹:從圖片中提取直線線段,彎曲線條不會被提取,多用于建筑設(shè)計(jì)、室內(nèi)設(shè)計(jì);

②刻痕閾值:低于閾值的線條不被檢測為邊緣,數(shù)值越小線越多/也會越亂,數(shù)值越大線越少/也會越簡單;

③距離閾值:線條間的距離低于閾值時(shí)會被合并,數(shù)值越小線越多/也會越亂,數(shù)值越大線越少/也會越簡單;

④對應(yīng)模型:

  1. SD1.5 模型:control_v11p_sd15_mlsd
  2. SDXL 模型:暫無

⑤效果預(yù)覽:

Stable Diffusion ComfyUI 進(jìn)階教程(一):Controlnet 線條預(yù)處理器

10. Diffusion Edge:

Stable Diffusion ComfyUI 進(jìn)階教程(一):Controlnet 線條預(yù)處理器

①介紹:從圖像提取邊簡單邊緣線(此預(yù)處理器我為找到未找到官方介紹以及算法介紹);

② environment:針對 indoor(室內(nèi))、urban(城市)、natrual(自然)圖像進(jìn)行選擇處理;

③patch_batgh_size:未發(fā)現(xiàn)明顯區(qū)別;(數(shù)值區(qū)間:1-16)

④對應(yīng)模型:未找到官方推薦模型,圖像處理效果偏向于 canny、lineart,可使用這幾種預(yù)處理器對應(yīng)的模型,我試了一下,效果都挺不錯(cuò)的;

⑤效果預(yù)覽:

Stable Diffusion ComfyUI 進(jìn)階教程(一):Controlnet 線條預(yù)處理器

二、涂鴉

1. Scribble 涂鴉預(yù)處理器:

Stable Diffusion ComfyUI 進(jìn)階教程(一):Controlnet 線條預(yù)處理器

①介紹:使用涂鴉化算法轉(zhuǎn)換圖像顏色為黑白(控制效果沒有 Canny 或 HED 嚴(yán)格);

②對應(yīng)模型:

  1. SD1.5 模型:control_v11p_sd15_scribble
  2. SDXL 模型:暫無

③效果預(yù)覽:

Stable Diffusion ComfyUI 進(jìn)階教程(一):Controlnet 線條預(yù)處理器

2. Binary 二值化預(yù)處理器:

Stable Diffusion ComfyUI 進(jìn)階教程(一):Controlnet 線條預(yù)處理器

①介紹:Binary 二值化預(yù)處理器屬于涂鴉類型的預(yù)處理器,使用涂鴉算法把圖像顏色轉(zhuǎn)換為黑白(Scribble 涂鴉預(yù)處理器的可調(diào)節(jié)版,控制效果沒有 Canny 或 HED 嚴(yán)格);

②閾值:當(dāng)色值高于閾值的像素會被處理為 1(白色),低于閾值的像素會被處理為 0(黑色),(當(dāng)閾值為 0 時(shí),效果與 255 相同)

③對應(yīng)模型:

  1. SD1.5 模型:control_v11p_sd15_scribble
  2. SDXL 模型:暫無

④效果預(yù)覽:

Stable Diffusion ComfyUI 進(jìn)階教程(一):Controlnet 線條預(yù)處理器

3. ScribbleXDoG 涂鴉預(yù)處理器:

Stable Diffusion ComfyUI 進(jìn)階教程(一):Controlnet 線條預(yù)處理器

①介紹:Scribble 與 XDoG 結(jié)合,可通過 XDoG 閾值來控制細(xì)節(jié)。

②閾值:數(shù)值越低,處理的圖像越復(fù)雜/線條越多;數(shù)值越高,處理后的圖像越簡單/線條越少(數(shù)值區(qū)間 0-64)

③對應(yīng)模型:

  1. SD1.5 模型:control_v11p_sd15_scribble
  2. SDXL 模型:暫無

④效果預(yù)覽:

Stable Diffusion ComfyUI 進(jìn)階教程(一):Controlnet 線條預(yù)處理器

4. FakeScribble 偽涂鴉預(yù)處理器:

Stable Diffusion ComfyUI 進(jìn)階教程(一):Controlnet 線條預(yù)處理器

①介紹:提取圖像中黑白分明的邊緣線并生成類似涂鴉效果的草圖線條,類似于靈魂畫手畫出來的畫(哈哈哈,能知道是什么樣的了吧)。正因?yàn)樯傻木€條比較粗獷,所以他的控制效果比上述幾種涂鴉效果還弱,只能進(jìn)行粗略控制,但是他非常適合對我們隨手涂鴉的“大作”進(jìn)行轉(zhuǎn)繪。

②閾值:開啟增穩(wěn)會略微增加線條細(xì)節(jié),實(shí)際上區(qū)別不是太大;

③對應(yīng)模型:

  1. SD1.5 模型:control_v11p_sd15_scribble
  2. SDXL 模型:暫無

④效果預(yù)覽:

Stable Diffusion ComfyUI 進(jìn)階教程(一):Controlnet 線條預(yù)處理器

收藏 81
點(diǎn)贊 60

復(fù)制本文鏈接 文章為作者獨(dú)立觀點(diǎn)不代表優(yōu)設(shè)網(wǎng)立場,未經(jīng)允許不得轉(zhuǎn)載。