大家好，這里是和你們一起探索 AI 繪畫的花生~

AI 繪畫自出現(xiàn)以來(lái)一直在不斷發(fā)展，最明顯的體現(xiàn)就是圖像生成質(zhì)量越來(lái)越高，還有很重要的一點(diǎn)就是出圖速度的提升。比如之前為大家介紹過(guò)的 LCM 和 SDXL Turbo，僅用 1-4 步就能完成圖像推理，使模型出圖速度比之前快了 8-10 倍 。最近，字節(jié)又推出了一個(gè)新的模型 SDXL-Lightning，它同樣能在幾秒之內(nèi)就生成 1024px 的圖像， 且出圖質(zhì)量比 LCM 和 Turbo 都要好，今天就為大家介紹一下 Lightning 的功能和用法。

相關(guān)推薦：

一、SDXL-Lightning 簡(jiǎn)介

SDXL-Lightning 項(xiàng)目介紹： https://huggingface.co/ByteDance/SDXL-Lightning

SDXL vs Lightning vs Turbo 的快速比較工具： https://anotherjesse.com/posts/sdxl-lightning/

SDXL-Lightning 模型是從 Stability AI 的 stable-diffusion-xl-base-1.0 模型中，使用了一種結(jié)合漸進(jìn)式和對(duì)抗式蒸餾的擴(kuò)散蒸餾方法提煉出來(lái)的。漸進(jìn)式蒸餾使提煉后的模型能保留原模型的圖像風(fēng)格和種類，對(duì)抗式蒸餾則用于提升圖像生成質(zhì)量，二者結(jié)合使 SDXL-Lightning 在圖像的快速生成和高質(zhì)量、多樣化之間找到了一個(gè)平衡點(diǎn)， 使其在快速出圖的同時(shí)，依舊能保持較高的圖像質(zhì)量，并且能夠覆蓋廣泛的圖像模式。

下面是官方給出的對(duì)比圖，可以看到 SDXL-Lightning 在 2-8 步之間的生成效果都不錯(cuò)，8 步時(shí)質(zhì)量最穩(wěn)定，甚至與 SDXL 模型 32 步的生成效果不相上下；即使在 4 步的條件下，在圖像質(zhì)量以及風(fēng)格多樣性也比 Turbo 和 LCM 模型好很多。

SDXL-Lightning 模型發(fā)布后很快就有了在線部署，我們可以免費(fèi)在網(wǎng)站上測(cè)試它的出圖效果 。下面是我錄制的一個(gè)生成過(guò)程，可以看到文字輸入后圖像馬上就有了變化，反應(yīng)速度非常快，并且在質(zhì)量、風(fēng)格與細(xì)節(jié)上都保持的不錯(cuò)，相信 AI 實(shí)時(shí)繪畫也會(huì)因?yàn)?SDXL-Lightning 有進(jìn)一步的發(fā)展。

SDXL-Lightning 實(shí)時(shí)生成在線試用①： https://fastsdxl.ai/

prompt：a 90s illustration of a dog chasing a butterfly in the autumn forest.

二、在 ComfyUI 中使用 Lightning 模型

模型地址： https://huggingface.co/ByteDance/SDXL-Lightning/tree/main

官方工作流： https://huggingface.co/ByteDance/SDXL-Lightning/tree/main/comfyui

字節(jié)目前已經(jīng)放出了 SDXL-Lightning 完整的模型和工作流資源，模型包括 Checkpiont 和 Lora 兩種。

Checkpiont 模型分為 1step、2step、4step、8step 四款，1step 雖然出圖速度最快，但效果不穩(wěn)定，所以推薦使用 4step 或 8step，下面以 4step 模型為例，講解一下基礎(chǔ)用法。

1. 首先下載 sdxl_lightning_4step.safetensors 大模型，安裝到根目錄的 models/checkpoints 文件夾中（如果是和 SD WebUI 共享資源，則放到 WebUI 的根目錄中）。
2. 將 ComfyUI 更新到最新版本，然后把 comfyui_sdxl_lightning_workflow_full 工作流留拖入界面中。
3. 需要確認(rèn)的設(shè)置有：① Ksampler 中得生成步數(shù)要與你選擇的大模型保持一致，這里我載入的是 4step 大模型，所以生成步數(shù)設(shè)置為 4 步；② 推薦使用 Euler 采樣器與 sgm_uniform 調(diào)度器。
4. 設(shè)置完成后就能生成了，經(jīng)測(cè)試生成一張 1024*1024 px 的圖片只需要 6 秒，并且質(zhì)量非常高。

除了官方的 4 個(gè)大模型，開(kāi)源社區(qū)中 DreamShaperXL 大模型也已經(jīng)有了 Lightning 微調(diào)版本，并且其圖像質(zhì)量及風(fēng)格美學(xué)在一定程度上優(yōu)于官方模型。如果想使用它，工作流同上，對(duì)應(yīng)的參數(shù)設(shè)置為：CFG 為 2，采樣步數(shù) 3-6，采樣器必須為 DMP++ SED Karras，尺寸推薦 1024 px。

DreamShaperXL Lightning 下載： https://civitai.com/models/112902?modelversionid=354657 （文末有資源包）

SDXL Lightning Lora 模型則有 3 款：2step、4step 和 8step，它們可以與其他任意 SDXL 大模型搭配，在提升出圖速度的同時(shí)保持原模型的風(fēng)格。具體工作流如下（文末有資源包），使用前需要先下載一個(gè) LightningLlora 模型并安裝到根目錄的 models/lora 文件夾中 。

我使用的是動(dòng)漫風(fēng)大模型 CounterfeitXL 和 Lightning_4step_lora 模型， 生成一張 768*1024px 圖像的時(shí)間為 4s，圖像在風(fēng)格與細(xì)節(jié)上與原模型幾乎沒(méi)有差別，只在顏色上不如原來(lái)明亮了，但可以通過(guò)添加 VAE 模型來(lái)改善這個(gè)問(wèn)題。 如此短的時(shí)間內(nèi)實(shí)現(xiàn)這樣高的質(zhì)量，Lightning lora 的作用還是非常驚人的，它可以有效提升我們使用 XL 大模型的效率。

除了 Comfyui，lllyasviel 大神（Controlnet 和 Fooocus 的作者）開(kāi)發(fā)的 Stable Diffusion WebUI Forge 也實(shí)現(xiàn)了對(duì) SDXL-Lightning 的官方支持，有安裝的小伙伴可以去體驗(yàn)一下。參數(shù)方面采樣器推薦選 Euler SGMUniform，CFG 需要為 1.0。

這里補(bǔ)充一下 WebUI Forge 的相關(guān)信息。WebUI Forge 是基于 A1111 WebUI 構(gòu)建的一個(gè)高性能平臺(tái)，它在界面與使用方法上與 A1111 WebUI 沒(méi)有任何不同，主要區(qū)別在于：

1. 對(duì)低顯存用戶更友好。以最低的 6G 顯存為例，WebUI Forge 的推理速度比 A1111 WebUI 提升了 60~75%，高峰時(shí)對(duì)顯存的占用減少約 800MB 至 1.5GB，最大圖像分辨率（不會(huì) OOM）增加約 3 倍，最大圖像生成批次（不會(huì) OOM）增加約 4 倍 ，因此使用時(shí)不再會(huì)輕易爆顯存。
2. 支持更多新的功能。SVD/Z123/masked/Ip-adapter/masked controlnet/photomaker 的等功能在 A1111 WebUI 中目前都無(wú)法使用，而 WebUI Forge 引入了 Unet Patcher，可以在新功能出現(xiàn)后及時(shí)進(jìn)行官方支持。

如果你不習(xí)慣 ComfyUI 的節(jié)點(diǎn)式界面，又想在 WebUI 中使用新出的 AI 功能，那么 WebUI Forge 就是一個(gè)很好的選擇，官方 Github 主頁(yè)有一鍵安裝包和使用教程，有需要的小伙伴可以自行下載：

WebUI Forge 下載安裝： https://github.com/lllyasviel/stable-diffusion-webui-forge

以上就是本期為大家推薦的 SDXL-Lightning 的相關(guān)內(nèi)容，喜歡的話記得點(diǎn)贊收藏支持一波，之后會(huì)繼續(xù)為大家?guī)?lái)更多實(shí)用的 AI 干貨知識(shí)。想了解更多 AI 內(nèi)容的話，歡迎關(guān)注 優(yōu)設(shè) AI 自學(xué)網(wǎng)；另外也可以關(guān)注「優(yōu)設(shè) AIGC」的 微信 視頻號(hào)，小瓜老師每天都會(huì)分享最新的 AIGC 資訊和神器，讓你輕松掌握最新的 AI 發(fā)展動(dòng)態(tài) ~

推薦閱讀：