大家好，我是三石。

今天給大家?guī)?lái)的是 ComfyUI 的局部重繪的工作流，跟之前一樣，我會(huì)通過(guò)一些理論知識(shí)來(lái)幫助大家對(duì) ComfyUI 的工作流和節(jié)點(diǎn)有更深的認(rèn)知，還是那句話，知其然，還要知其所以然。

相關(guān)教程：

為什么要寫(xiě)局部重繪，是因?yàn)槲野l(fā)現(xiàn)雖然市面上有很多 ComfyUI 的基礎(chǔ)局部重繪的教程，我也看了很多，但老有一種隔靴搔癢的感覺(jué)，讓我似懂非懂。

抱著“假設(shè)-驗(yàn)證-結(jié)果-總結(jié)”的探索精神，我看了大量相關(guān)的視頻，教程和官方文檔，終于把ComfyUI 的局部重繪的基礎(chǔ)工作流給整明白的七七八八了，現(xiàn)在就開(kāi)始吧。

本期是 ComfyUI 的入門(mén)級(jí)局部重新繪制的講解，如果大家喜歡，我后面會(huì)再寫(xiě)一些高級(jí)的局部重繪的教程，但是，我們先從簡(jiǎn)單的講起，簡(jiǎn)單的原理搞明白了，復(fù)雜的東西也就一通百通了，本質(zhì)都差不多。

我總結(jié)了基礎(chǔ)局部重繪的三種方法，分別是：VAE 內(nèi)補(bǔ)編碼器、設(shè)置 Latent 噪波遮罩和使用 ControlNet（重點(diǎn)講解）

首先聲明，這三種方法，沒(méi)有優(yōu)劣之分，用哪種要看具體的需求，我先簡(jiǎn)單列出這三種方法各自的使用場(chǎng)景，后面我們?cè)儆美觼?lái)補(bǔ)充說(shuō)明。

一、理解局部重繪的基礎(chǔ)概念

現(xiàn)在正式進(jìn)入主題，要想理解局部重繪，我們需要首先理解“局部是怎么重繪的”？，如果大家之前學(xué)過(guò) photoshop，就能很好地理解了，其實(shí)就是“蒙版”。

只不過(guò)是現(xiàn)在把這個(gè)手動(dòng)的過(guò)程換到 ComfyUI 變成一個(gè)自動(dòng)的過(guò)程了，我通過(guò)筆刷把需要改圖的區(qū)域畫(huà)出來(lái)，其余的地方（背景和周邊的地面）保持不變，然后在蒙版區(qū)域畫(huà)只貓，看下圖：

二、局部重繪的蒙版處理方式

理解了局部重繪的基礎(chǔ)概念，我們還需要理解下蒙版的處理方式，簡(jiǎn)單說(shuō)就是蒙版里面的圖是怎么生成的，官方用語(yǔ)是：通過(guò)采樣重繪蒙版區(qū)域。

蒙版的采樣不僅受蒙版區(qū)域內(nèi)原圖的影響（遮罩處理方式），也受蒙版區(qū)域外原圖的影響（重繪區(qū)域）。結(jié)合 webui 大家看圖：

在上圖的基礎(chǔ)上，我羅列了常見(jiàn)的 2 種搭配方式，分別是：

1. 重繪區(qū)域參考（全圖）+蒙版蒙住內(nèi)容（空白潛空間）
2. 重繪區(qū)域參考（全圖）+蒙版蒙住內(nèi)容（原圖）

這兩種方案分別對(duì)應(yīng)了兩種組最簡(jiǎn)單的局部重繪的方法：

1. VAE 內(nèi)補(bǔ)編碼器
2. 設(shè)置 Latent 噪波遮罩
3. 這兩種修改辦法我簡(jiǎn)稱(chēng)為“大補(bǔ)和小補(bǔ)”

另外一種局部繪制的方法是 ControlNet，跟上面兩種不一樣，ControlNet 是嚴(yán)格控制蒙版內(nèi)容的"框架"，然后基于框架生成類(lèi)似的畫(huà)面，我們可以對(duì)比下面三張圖：

三、三種局部重繪的工作流和案例

理解了上面的概念，我們就可以來(lái)有的放矢地搭建我們的工作流了，這里我還是想通過(guò)一些簡(jiǎn)單的例子和對(duì)比來(lái)幫助大家更好地區(qū)別。

1. 理解降噪和重繪幅度

圖生圖工作流如下：

原理是先將本地上傳的圖片解碼成計(jì)算機(jī)能識(shí)別的語(yǔ)言（添加噪點(diǎn)），然后結(jié)合 Prompt，綜合得到一張新的圖片，簡(jiǎn)單地說(shuō)就是生成的新圖片是“圖+字”的綜合體。這里有個(gè)關(guān)鍵就是“降噪（denoise）”，簡(jiǎn)單理解就是“重繪幅度”，數(shù)值在 0-1 之間，數(shù)值越大，重繪幅度越高，直至完全偏離原圖，數(shù)值越低，越接近原圖，至于為什么是這個(gè)原理，為了方便大家理解，我畫(huà)了張圖，如下：

理解了這個(gè)之后，我們就可以開(kāi)始搭建我們的重繪工作流了。

2. VAE 內(nèi)補(bǔ)編碼器局部重繪

本次實(shí)驗(yàn)的底模和 clip 文本編碼器如下：

在這之前，先上傳一張需要重繪的照片，然后畫(huà)上蒙版，最后點(diǎn)擊“save to node”，如下圖：

然后我們需要對(duì)蒙版進(jìn)行編碼，將蒙版和圖像一起上傳到“VAE 內(nèi)補(bǔ)編碼器”中，這種重繪方式的原理是蒙版區(qū)域?yàn)榭瞻诐摽臻g，生成的圖像跟之前蒙版的內(nèi)容沒(méi)有任何關(guān)系，只是參考了原圖的風(fēng)格和感受，所以適合重繪一個(gè)完全不想干的東西，工作流如下：

其中“VAE 內(nèi)補(bǔ)編碼器”中的遮罩延展，我們可以理解為 photoshop 中的“羽化”，一般設(shè)置為 6 即可，太小或者太大都不太合適，我做了實(shí)驗(yàn)如下，可以很明顯的發(fā)現(xiàn)，羽化=0 時(shí)，貓咪的邊緣很生硬，無(wú)法和畫(huà)面如為一體，就像是“重新粘貼上去的”。

并且我們發(fā)現(xiàn)，VAE 內(nèi)補(bǔ)編碼器的重繪方式確實(shí)適合做一些比較大的調(diào)整，我們做個(gè)人像試試：

哈哈，確實(shí)蒙版區(qū)域的內(nèi)容跟原來(lái)毫不相干，大概率有抽卡的成分，所以大家在用這種局部重繪時(shí)，最好是用在那種不是微調(diào)的，效果還是不錯(cuò)的。

備注：不建議降低降噪值，否則就會(huì)出現(xiàn)下圖這種情況，原因：數(shù)值越低，越接近原圖，現(xiàn)在蒙版區(qū)域又是空白潛空間，所以就沒(méi)了參考了，所以就這樣了。

小結(jié)：

3. Latent 噪波遮罩局部重繪

那如果我不想大調(diào)整，我只想微調(diào)局部，怎么辦？

這時(shí)候 Latent 噪波遮罩的方法就非常管用，這種重繪方式的原理是蒙版區(qū)域參考了原蒙版內(nèi)容，重繪區(qū)域還參考了原圖，所以適合微調(diào)，能更好地理解需要重新生成的內(nèi)容，工作流如下：

這里可以發(fā)現(xiàn)，因?yàn)檫@里的遮罩參考了原圖，所以設(shè)置降噪幅度是有用的，

這是降噪=0.69 跟原圖差的有點(diǎn)大，但還是跟原圖保持了一個(gè)差不多的特征效果，不會(huì)很離譜。

換成降噪=0.55

再換成降噪=0.4

是不是很明顯，降噪數(shù)值越低，跟原圖越像，但提示詞 “1 smiling girl”依然會(huì)表現(xiàn)出來(lái)，而上面的“VAE 內(nèi)補(bǔ)編碼器”則有點(diǎn)不盡如人意了，就像是直接搞了張“膏藥”，哈哈。

所以，我們可以試著讓這個(gè)女孩帶上眼鏡，其余保持不變，這就是典型的局部微調(diào)，我們看下效果：

再來(lái)一個(gè)，給鳥(niǎo)換個(gè)金色羽毛，是不是還不錯(cuò)。

小結(jié)：

4. ControlNet 局部重繪

到這，相信大家已經(jīng)理解了最基本的兩種重繪方式，現(xiàn)在有個(gè)新問(wèn)題，當(dāng)畫(huà)面需要進(jìn)行重大更改，但是又盡量不改變整體角色形象，比如人物外輪廓不變，在這個(gè)基礎(chǔ)上進(jìn)行重繪，又該如何呢？這里就需要用到 ControlNet 來(lái)傳遞原始圖像的整體姿勢(shì)。

如果我想把之前的女孩變成老奶奶，屬于重大修改，但不能改變畫(huà)面形象，姿勢(shì)，綜合來(lái)看，controlnet 的效果是最完美的，手部動(dòng)作也還原了。三種處理方式的結(jié)果如下：

再比如換上另一個(gè)女孩，控制效果依然不錯(cuò)。

工作流如下：

這里我自己理解 ControlNet 重繪適合整體的大修改，但是還能保留原圖像特性，我們看官方文檔的示例就比較清楚了：

1. ControlNet 官方介紹：https://github.com/lllyasviel/ControlNet-v1-1-nightly?tab=readme-ov-file
2. ControlNet 1.1 模型下載：https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

到這里，我把我理解的都告訴大家了，其實(shí)這三種辦法簡(jiǎn)單講就是在重繪時(shí)對(duì)畫(huà)面的控制程度越來(lái)越高，越來(lái)越精細(xì)，如果我只想簡(jiǎn)單來(lái)個(gè)替換，第一種就很好，但是我想造型還是那個(gè)造型，但得換個(gè)人，咱就得用 ControlNet 來(lái)精準(zhǔn)控制。

四、初步了解 ControlNet

上面的第三種局部重繪的方法，用到的是 ControlNet，那 ControlNet 的基本內(nèi)容和原理又是什么呢？這里我先幫助大家做個(gè)簡(jiǎn)單的介紹，后面我會(huì)單獨(dú)出一期文章詳細(xì)講解 ControlNet（現(xiàn)在本人還不理解地很到位），大家喜歡的可以先關(guān)注下。

ControlNet 說(shuō)簡(jiǎn)單點(diǎn)就是在原圖框架上出類(lèi)似的圖，官網(wǎng)上大概有以下幾種模型：深度、曲線、直線、姿勢(shì)等，不太明白的話，我給大家換個(gè)看法，來(lái)個(gè)“映射”，大家學(xué)設(shè)計(jì)的大學(xué)高中都學(xué)過(guò)素描和水粉吧，比如畫(huà)水粉的時(shí)候，每個(gè)人的起稿方式都不一樣，有打線稿的，也有平涂的，說(shuō)白了，ControlNet 就是干這個(gè)事情的。

這些模型的具體用法和選擇我也會(huì)在后面的文章做詳細(xì)的介紹，這里我們了解個(gè)大概就差不多了。我自己總結(jié)了 COntrolNet 的出圖原理如下：

簡(jiǎn)單來(lái)說(shuō)，ControlNet 解決的一個(gè)最大的問(wèn)題是：?jiǎn)渭兊年P(guān)鍵詞控制方式無(wú)法滿(mǎn)足對(duì)細(xì)節(jié)精確控制的需要。

總結(jié)

今天的分享就到這里了，本章內(nèi)容主要講解了在 ComfyUI 中基礎(chǔ)的 3 種局部重繪的方法，以及每種方法的優(yōu)缺點(diǎn)，其實(shí)這一塊最難的是了解每種局部重繪的原理，知道原理之后，我們后面就可以隨心所欲地進(jìn)行自我創(chuàng)作了，還有就是每種方法沒(méi)有優(yōu)劣之分，重要的是擺在合適的位置，找到合適的場(chǎng)景，所以建議大家自己要多嘗試幾遍。

希望對(duì)大家有幫助，祝大家出圖愉快！

謝謝