往期回顧:
補充:
①在開始之前推薦一個插件,ComfyUI-Manager(ComfyUI 管理器),下載地址: https://github.com/ltdrdata/ComfyUI-Manager.git
②安裝方式除了可以使用我們第一節(jié)課上講的 “git 拉取”外( 不要使用壓縮包解壓安裝),還可以把“install-manager-for-portable-version.bat”文件放入"ComfyUI_windows_portable"目錄雙擊安裝(“install-manager-for-portable-version.bat”文件我會放在這節(jié)課的文件鏈接里面);
③安裝好之后會在右側(cè)菜單上顯示一個“管理器”的按鈕,點擊就可以打開操作彈窗;
④我們可以通過這個插件安裝、刪除、禁用其他插件,也可以下載放大模型,更新 ComfyUI 等功能;
⑤最主要的還是“安裝節(jié)點”、“安裝缺失節(jié)點”
a. 單擊“安裝節(jié)點”搜索我們需要安裝的節(jié)點名字后點擊“Install”等待安裝成功就可以了;
b. 我們在使用別人分享的流程圖時發(fā)現(xiàn)缺少插件(節(jié)點變成紅色塊),就可以點擊“安裝缺失節(jié)點”進行安裝;
⑥采用“管理器”安裝比 git 拉取更簡單,也會解決插件需要手動配置環(huán)境的操作(部分插件不可以,具體需要看插件安裝要求)
前言:
前幾節(jié)課我們學習了文生圖、圖生圖、局部重繪,但是生成的圖片分辨率太小,我們可以通過模型放大、潛在放大、非潛在放大、分塊放大多種方式對圖像進行放大。
我們以文生圖后的圖片進行放大,在開始之前我們打開之前搭建的文生圖基礎(chǔ)流程。
1. 模型放大:
①模型放大是最簡單,也是效果最差的放大方式,他就和我們在 Web UI 上使用后期處理進行放大一樣,只是通過放大算法對圖像直接放大(也就是圖像空間放大),這也會導(dǎo)致我們放大的圖片損失細節(jié),甚至看起來會很膩很假;
②雖然上面說的一無是處,但是使用他搭配在其他的放大方式上效果就大大增強,我們先看一下怎么使用模型放大吧;
③“右鍵-新建節(jié)點-圖像-放大-圖像通過模型放大”
④左側(cè)的“放大模型”通過拖拽連接“放大模型加載器”(“右鍵-新建節(jié)點-加載器-放大模型加載器”進行連接也可以);
⑤選擇自己需要的放大模型,我給大家準備好的 17 個放大模型,都放在網(wǎng)盤里面了(管理器的安裝模型也可以下載放大模型),其中 BSRGAN、ESRGAN、SwinIR_4K、RealESRGAN_x4plus 效果不錯;
⑥左側(cè)的“圖像”連接“VAE 解碼”輸出的圖像,右側(cè)直接連接保存圖像就可以了;
⑦有沒有發(fā)現(xiàn)我們沒有設(shè)置圖片放大的倍數(shù),其實模型放大是直接根據(jù)所選放大模型進行放大的,一般都是放大 4 倍。
2. 潛在放大:
①這時候我們插個知識點,在 Web UI 上我們進行高分辨率修復(fù)的時候,我們會看到在選擇放大算法時,有 Latent 開頭的幾個算法可選擇,這其實就是我們進行潛在放大所需要用到的流程;
②潛在放大就是在原圖上進行縮放,然后對縮放后的圖像進行重新采樣,進而增加細節(jié)達到放大的目的;
③由于我們對圖片放大還需要進行“VAE 解碼、圖片放大、VAE 內(nèi)補編碼”這三個步驟,所以,,,,我們可以直接對 Latent 進行放大;
④ “右鍵-新建節(jié)點-Latent-Latent 縮放/Latent 按系數(shù)縮放”,可以看到我這邊放了兩個節(jié)點,這兩個節(jié)點一個是需要設(shè)置寬高、一個是根據(jù)倍數(shù)放大,根據(jù)自己的需要選擇就好;
⑤如果前幾節(jié)課學明白了,后面的就不用我多說了吧,再串聯(lián)一個采樣器就可以了;
⑥下方是我連接好的工作流,這里我選擇的是“Latent 按系數(shù)縮放”,這個比較方便一些,大家也可以選擇“Latent 縮放”
注意:降噪數(shù)值一定要在 0.5 左右,數(shù)值過低會有崩壞的情況。放大倍數(shù)也不要太大,太大同樣會有崩壞的情況
3. 非潛在放大:
①非潛在放大可以理解成模型放大和潛在放大的結(jié)合,先進行模型放大后對模型放大的圖片進行重新采樣;
②是不是有思路了?不過不要忘了對模型放大后的圖片進行縮放(因為直接對放大 4 倍的圖片進行重新采樣會占用太多顯存并且添加的細節(jié)不夠);
③我們想要得到更高像素的圖像可以多次疊加“非潛在放大”流程,只要你的顯存夠大,你想要多大的圖都可以。
4. 分塊放大:
①非潛在放大要得到一張 4K 圖需要很高的顯存,但是我們可以通過分塊放大,使用較小的顯存出更大的圖。
②分塊放大其實就是把一張圖切成 n 個塊,然后對小塊進行重新采樣,最后把小塊拼接在一起。他的好處是可以使用更小的顯存得到一張更大分辨率的圖;
③分塊放大是需要用到一個插件的: https://github.com/BlenderNeko/ComfyUI_TiledKSampler.git (壓縮包解壓安裝、git 拉取、管理器安裝都可以)
④我們需要用到這個插件中的“分塊采樣器”,“右鍵-新建節(jié)點-采樣器-K 采樣器(分塊)”,他同樣有一個高級采樣器,這個我們要進行 refiner 模型細化的時候可以使用。
⑤來看一下和我們的普通采樣器有什么區(qū)別吧,只多了三個操作,分塊寬度、分塊高度、無縫分塊策略
a. 分塊寬度、分塊高度:是指我們放大時每一次進行分塊采樣時繪制的寬高;
- 數(shù)值不要太?。ǜ鶕?jù)你放的后圖片的大小決定,比如我要放大成 2048*2048,我是設(shè)置為 1024*1024 的)
- 數(shù)值越小分的塊越多,分的塊越多也就越慢;也會增加出現(xiàn)偽影的幾率(比如你生成貓,你會在某些小區(qū)域得到貓的影子,即使你降噪數(shù)值小也會出現(xiàn)不同程度的偽影)
b. 無縫分塊策略:是指在我們分塊采樣的每一塊相接處會出現(xiàn)明顯的拼接痕跡,而無縫分塊策略就是通過不同的方式減少拼接痕跡的,有四種可選策略,random(隨機)、random strict(隨機嚴格)、padded(填充)、simple(簡單),我建議使用 random 和 random strict。
- random(隨機):也是默認策略,它是通過在水平和垂直的分塊圖像之間隨機交替采樣來消除拼接痕跡(效果最好,與 uni 采樣器不兼容);
- random strict(隨機嚴格):因為 random 很有可能會對有邊框的圖像產(chǎn)生不好的效果,所以 random strict 使用遮罩來確保不裁剪邊框圖塊(效果和 random 類似,但不適用于 SDE 采樣器)。
- padded(填充):為每塊圖像在四周提供一定的范圍進行疊加來減少拼接縫隙,正因為這樣,他需要對多達 4 倍的圖塊進行采樣(效果不如 random,速度慢,支持 uni 采樣器)。
iv. simple(簡單):看名字就知道,最簡單的策略,就是直接一塊塊的去燥(效果最差,速度最快,不建議使用)
⑥是不是以為當成普通采樣器連接就可以了,,,,那當然不是,在“正面條件”中間要把 ControlNet 的 tile 連接進去;
⑦ “右鍵-新建節(jié)點-加載器-ControlNet 加載器”,加載器選擇“tile”的(tile 模型我會放在網(wǎng)盤里面,其他的 ControlNet 使用方法我會在第八節(jié)課講給大家)
⑧ “ControlNet 加載器”連接“ControlNet 應(yīng)用”,直接拖拽連接就可以(或:右鍵-新建節(jié)點-條件-ControlNet 應(yīng)用)
⑨我們“ControlNet 應(yīng)用”兩邊的“條件”連接“正面條件/提示詞”,圖像連接“VAE 解碼”輸出的圖像;大模型連接“K 采樣器(分塊)”上的模型;
⑩這時候我們就剩下設(shè)置出圖大小了,我們可以在“VAE 解碼的圖像”連接過來一個“圖像縮放/按系數(shù)放大”(或:模型放大流程,我個人測試下來,模型放大效果最好);
?然后對圖像進行“VAE 編碼”然后連接到“K 采樣器(分塊)”上,這不用細說了吧,圖生圖的流程;
?注意:降噪同樣不要太低,分塊寬高根據(jù)情況設(shè)置,如果出現(xiàn)偽影就增大數(shù)值
5. UltimateSDUpscale(終極 SD 放大):
①我們使用時每次都要搭建一遍“非潛在放大或分塊放大”等流程會很麻煩,使用“ComfyUI_UltimateSDUpscale”插件會更簡單。
②下載地址: https://github.com/ssitu/ComfyUI_UltimateSDUpscale.git (壓縮包解壓安裝、git 拉取、管理器安裝都可以)
③“右鍵-新建節(jié)點-圖像-放大-SD 放大”,這個插件有兩個功能,一個是細節(jié)修復(fù)+放大(SD 放大),一個是細節(jié)修復(fù)(SD 放大(不放大))。我們主要用到的是 SD(放大),他們的區(qū)別只是是否連接放大模型;
④這個放大插件可以說是把上方的“模型放大+分塊放大”進行了一個組合;
⑤我們可以看到這個節(jié)點和我們上面用的“K 采樣器(分塊)”很相似對吧,這個地方我們主要去關(guān)注幾個操作就可以了
a. mode_type(模式類型):有兩個可選擇
- Linear(直線):逐行進行拼接(更快,但是會有幾率出現(xiàn)偽影,我們默認使用這個)
- Chess:棋盤拼接 ,可以理解成“X”形狀的拼接樣式(慢一些,出現(xiàn)偽影的幾率?。?/li>
b. mask_blur(模糊):拼接區(qū)域的羽化程度,默認 8 就可以,融合不好的情況下適當調(diào)高
c. Tile_padding(分塊區(qū)域):相鄰融合像素,和我們上面說的 padded(填充)策略一樣,不過這個插件我們可以設(shè)置融合像素的值
d. seam_fix_mode(接縫修復(fù)模式):有三種模式選擇,Band Pass(速度快)、Half Tile(質(zhì)量好)、Band Pass+Half Tile(速度和質(zhì)量做一個折中)
⑥連接就更簡單了,連接一個“放大模型加載器”,其他的就按照名字連接就可以;
- “模型放大”最快也是效果最差,最不推薦的。我常用的是“非潛在放大”和“UltimateSDUpscale 插件放大”;
- 每個放大方式都有利弊,我們完全可以多種方式一起進行放大,比如:潛在放大/非潛在放大 + UltimateSDUpscale 插件放大,這樣我們放大后的圖片效果更好,細節(jié)更豐富;
- 我們 refiner 模型細化、圖生圖、還有我們以后要學習的 文/圖生視頻 等都可以用這幾種方式進行放大;
- 我把這幾種放大方法整合在一個工作流中,大家可以對比一下不同方式下的放大效果
復(fù)制本文鏈接 文章為作者獨立觀點不代表優(yōu)設(shè)網(wǎng)立場,未經(jīng)允許不得轉(zhuǎn)載。
發(fā)評論!每天贏獎品
點擊 登錄 后,在評論區(qū)留言,系統(tǒng)會隨機派送獎品
2012年成立至今,是國內(nèi)備受歡迎的設(shè)計師平臺,提供獎品贊助 聯(lián)系我們
品牌形象設(shè)計標準教程
已累計誕生 726 位幸運星
發(fā)表評論 為下方 17 條評論點贊,解鎖好運彩蛋
↓ 下方為您推薦了一些精彩有趣的文章熱評 ↓