大家好我是花生~

繪畫模型 Flux.1 自推出后，以其超強(qiáng)的圖像生成能力迅速受到廣泛關(guān)注，一躍成為新一代的 AI 文生圖模型標(biāo)桿。 雖然 Flux.1 dev / schnell 模型開源還不到 1 個(gè)月，但圍繞其進(jìn)行的生態(tài)建設(shè)卻發(fā)展迅猛：目前已經(jīng)出現(xiàn)了至少 4 種不同的模型版本和幾百款 checkpoint 、lora 模型，配套的 controlnet 模型也已經(jīng)上線，各種基于 flux 的文生圖、圖生圖、高清放大、局部重繪、面部修復(fù)工作流也投入了使用，讓人驚嘆于開源社區(qū)強(qiáng)大的生命力。

生態(tài)能發(fā)展完善肯定是好事，但發(fā)展太快也容易讓人跟不上。我雖然每天都會(huì)特意了解 Flux 的資訊，但還是會(huì)被源源不斷的新內(nèi)容弄得眼花繚亂、頭皮發(fā)麻，更不說屏幕前的無法實(shí)時(shí)關(guān)注的大家了。為了更好地讓大家跟上 Flux 的發(fā)展節(jié)奏，我花了一整天的時(shí)間，詳細(xì)梳理了目前 Flux 生態(tài)內(nèi)的各種模型、插件資源，并整理了對(duì)應(yīng)的使用方法，今天就把最終結(jié)果呈現(xiàn)給大家，看完之后你肯定會(huì)對(duì) Flux 有一個(gè)全面深入的了解。

另外本篇文章的內(nèi)容將更多集中在新推出的內(nèi)容上，如果你之前完全沒有接觸過 Flux.1 模型，推薦先看看下面這篇文章，對(duì)其有一個(gè)基礎(chǔ)了解：

一、不同的 Flux.1 模型版本

除了 Black Forest Labs 官方推出的 2 個(gè)開源模型外，開源社區(qū)目前也開發(fā)出多個(gè)不同的版本，它們也都有各自的應(yīng)用方向。主流的版本如下（掃描文末二維碼，進(jìn)群領(lǐng)取思維導(dǎo)圖文件鏈接）：

1. 如果你有 16G 以及以上的顯存，那么官方模型肯定是最好的選擇，它們的性能和生圖質(zhì)量是最好的；
2. 其次是 fp8 模型，比原版模型小很多，8G 顯存可運(yùn)行，且關(guān)鍵的文本、細(xì)節(jié)生成質(zhì)量沒有明顯下降；
3. 然后是 @lllyasviel 張呂敏大神發(fā)布的 NF4 量化版本。模型變得更小了，生成速度更快，如果在 WebUI forge 中使用共享模式運(yùn)行，6G 顯存也能帶動(dòng)。目前有 v1 和 v2 兩個(gè)版本，v2 在細(xì)節(jié)和速度上更優(yōu)；
4. 最后是 @City96 開發(fā)的 3 個(gè) GGUF 量化版本。其中 Q8 的出圖效果、速度都優(yōu)于 fp8，需要 12GB 以上的顯存；而 Q4 版本 8G 顯存就能帶動(dòng)，生成質(zhì)量比 NF4 好一些。
5. 注意：這些量化版本的使用許可與原版模型是一致的，即 Dev 不可商用，Schnell 可以商用。

需要注意的是目前開源社區(qū)有兩個(gè) fp8 模型，它們的名稱一樣，但大小和加載方法是不一樣的：一個(gè)由 @ kijai 開發(fā)，11.9 GB，在comfyui 中加載時(shí)需要配備 clip、vae等模型，適合原版工作流；另一個(gè)是 ComfyUI 官方開發(fā)的，17.2GB，融合了 clip、vae 等模型，可直接作為普通大模型使用，工作流更簡單。為了方便區(qū)分，大家最好下載后重新命名，比如 flux1-dev-fp8-kijai 和 flux1-dev-fp8。

目前以上所有模型都可以在 ComfyUI 中運(yùn)行，NF4 和 GGUF 也支持在新版的 WebUI Forge 中使用。下面介紹一下如何在 ComfyUI 和 WebUI Forge 中安裝使用最新的 NF4 和 GGUF Q4 模型。

二、在 ComfyUI 中使用新版模型

首先需要將 ComfyUI 更新到最新版本，然后安裝兩個(gè)拓展插件：

① ComfyUI_bitsandbytes_NF4：https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4 （用于加載 NF4 模型，通過git clone 安裝）

② ComfyUI-GGUF：https://github.com/city96/ComfyUI-GGUF （用于加載 GGUF 模型）

相關(guān)模型、工作流文件網(wǎng)盤內(nèi)都有提供。下載 flux1-dev-bnb-nf4.safetensors 模型后，放到根目錄的大模型文件夾，然后加載 comfyui_flux_nf4 工作流。它的用法和普通大模型是一樣的，但是不需要負(fù)面提示詞，其余參數(shù)保持默認(rèn)即可。我生成一張 1024*1024 的圖像需要 2-3 分鐘，比之前的 fp8 模型快 2 倍。

如果是 GGUF 模型，可先下載適合自己的版本（比如 flux1-dev-Q4_0.gguf ），安裝到根目錄的 models/unet 中，然后加載 flux_gguf 工作流。由于用到的模型很多，在生成前最好先檢查一下每個(gè)模塊的選擇是否正確。

三、在 WebUI Forge 中使用新版模型

WebUI Forge 官網(wǎng)：https://github.com/lllyasviel/stable-diffusion-webui-forge （網(wǎng)盤有 windows 資源包，但之后可能還會(huì)更新，推薦直接到官網(wǎng)下載）

首先需要安裝 WebUI Forge，官方有提供一鍵安裝包，解壓后點(diǎn)擊 update.bat 進(jìn)行更新（不可跳過），然后點(diǎn)擊 run.bat 啟動(dòng)程序（啟動(dòng)階段關(guān)閉代理），就能正常使用了。現(xiàn)在的 Forge 有 sd/xl/flux/all 4 種 UI 界面可選，適用于不同的模型。

對(duì)于 NF4 模型，先將模型安裝到 Forge 根目錄的 models\Stable-diffusion 文件夾中，然后啟動(dòng)程序，選擇 flux 界面。相關(guān)的生成參數(shù)如下：

1. 大模型：flux1-dev-bnb-nf4-v2.safetensors
2. 提示詞：Astronaut in a jungle, cold color palette, muted colors, very detailed, sharp focus
3. Steps: 20 / Sampler: Euler / Schedule type: Simple / CFG scale: 1 / Distilled CFG Scale: 3.5

對(duì)于 GGUF 模型，先將主模型安裝到 models\Stable-diffusion 文件夾中， ae.safetensors 放入 models\VAE 文件夾（注意 vae 尾綴必須為 safetensors ），clip-l 和 t5xxl 放入models\text_encoder文件夾。然后啟動(dòng)程序，選擇 flux 界面。相關(guān)的生成參數(shù)如下：

1. 大模型：flux1-dev-Q4_0.gguf
2. vae/text_encoder: ae.safetensors / clip-l / t5-xxl
3. 提示詞：A white street sign that says "I'm pink".
4. Steps: 20 / Sampler: Euler / Schedule type: Simple / CFG scale: 1 / Distilled CFG Scale: 3.5

經(jīng)測(cè)試生成一張 1024*1024 的圖像需要 3 分鐘左右，速度還是比較快的。

四、Flux Lora 模型資源

目前 Flux 官方及 FP8 版本模型都支持接入 Lora 一起使用，而可用的 Flux Lora 模型也非常豐富，大家可以直接去 Civitai 、LiblibAI 或者 Huggingface 上自行下載安裝。下面是一個(gè)在線體驗(yàn) Flux Lora 模型的網(wǎng)站：

網(wǎng)址：https://huggingface.co/spaces/multimodalart/flux-lora-the-explorer

在 ComfyUI 中使用 Flux lora 時(shí)，也有 2 款不同的工作流可以使用：一款是基于原生工作流，主模型存放在 Unet 文件夾；另一款是簡化工作流，適用于 comfyUI 推出的 fp8 模型，主模型放在 checkpoints 文件夾。

兩款工作流文件都可在網(wǎng)盤內(nèi)下載，分別是 flux-lora-original.json 和 flux-lora-simple.json。載入后記得檢查模型的選擇是否正確，尺寸、提示詞、lora 權(quán)重等參數(shù)可自定義修改。需要注意的是，一定要在提示詞中填寫 lora 的觸發(fā)詞（Trigger Words 一般在模型發(fā)布頁面都有提供），否則模型會(huì)不起效果，下圖中塔羅lora 的觸發(fā)詞就是 “in the style of TOK a trtcrd, tarot style”。

我們也可以在 webui forge 中使用 lora 模型。模型放在 models\Loras 文件夾中，依舊需要與官方 fp16 模型或者 fp8 模型配合，使用方式和 sd1.5 是一樣的：在 lora 版塊中點(diǎn)擊模型將其添加到提示詞中，然后加上 lora 觸發(fā)詞，再點(diǎn)擊生成就可以了。Forge 官方表示之后會(huì)支持針對(duì) NF4 的 lora。

五、Flux Controlnet 模型資源

目前開源社區(qū)有 2 個(gè)團(tuán)隊(duì)訓(xùn)練出了適用于 Flux 的 Controlnet 模型。這些模型適用于 Flux 官方和 fp8 模型，且運(yùn)行時(shí)對(duì)顯存占用更高，需要 12G 及以上的 VRAM 才能順利生成。

首先是 XLabs 團(tuán)隊(duì)，推出了 canny、depth 和 hed 三款模型，并更新到了 v3 版本。在 ComfyUI 中使用時(shí)，需要先安裝 x-flux-comfyui 插件，然后在 custom_nodes\x-flux-comfyui 文件夾中，通過終端運(yùn)行 pip3 install -r requirements.txt 命令，安裝依賴項(xiàng)。

然后將模型放入根目錄的 models\xlabs\controlnets 文件夾中，并從 custom_nodes\x-flux-comfyui\workflows 中加載對(duì)應(yīng)的工作流即可使用。另外 XLabs 也發(fā)布了多個(gè) flux lora 模型，可以在上面的 huggingface 鏈接內(nèi)查看；workflows 文件夾中有對(duì)應(yīng)的 lora 工作流。

1. x-flux-comfyui 插件：https://github.com/XLabs-AI/x-flux-comfyui
2. XLabs 模型下載：https://huggingface.co/XLabs-AI （文末有資源包）

之前為大家介紹過多合一的 Controlnet 模型 controlnet-union-sdxl-1.0 ，現(xiàn)在 Flux 生態(tài)也有了同類型的 FLUX.1-dev-Controlnet-Union-alpha 。它由 Xlabs 團(tuán)隊(duì)訓(xùn)練，融合了 canny / depth / Pose / Tile 等多種控制條件。目前模型開源可用，但有一些小 bugs 官方正在修復(fù)，之后還會(huì)發(fā)布一個(gè)新的版本。

在 ComfyUI 中加載此模型時(shí)，需要先安裝 ComfyUI-eesahesNodes 插件，然后在 custom_nodes\ComfyUI-eesahesNodes 文件夾內(nèi)運(yùn)行 python -m pip install -r requirements.txt 命令安裝依賴項(xiàng)。Controlnet 模型文件下載后安裝到 models/controlnet 文件夾中，為方便識(shí)別最好重命名。

1. 模型鏈接：https://huggingface.co/InstantX/FLUX.1-dev-Controlnet-Union-alpha/tree/main
2. ComfyUI-eesahesNodes 插件：https://github.com/EeroHeikkinen/ComfyUI-eesahesNodes

那么以上就是本期為大家梳理的 Flux.1 最新動(dòng)態(tài)，如果對(duì)你有幫助的話記得點(diǎn)贊、收藏、評(píng)論支持一波，我會(huì)有更動(dòng)力為大家推薦新的干貨內(nèi)容~

文內(nèi)的資源都可以在云盤內(nèi)下載。ComfyUI 的學(xué)習(xí)門檻比較高，如果你想掌握它，建議先從 Stable Diffusion WebUI 開始，它更適合初學(xué)入門，學(xué)會(huì)后也能有助于我們快速掌握 ComfyUI 的用法。 我最新制作的 《零基礎(chǔ) AI 繪畫入門指南》是一門面向 AI 繪畫零基礎(chǔ)人群的系統(tǒng)課程，包含 Stable Diffusion WebUI 全面細(xì)致的用法教學(xué)，并提供配套資源，能幫你快速掌握這款目前最熱門的 AI 繪畫工具。

想了解更多 AI 新鮮資訊的話，歡迎關(guān)注 優(yōu)設(shè) AI 自學(xué)網(wǎng) 和優(yōu)設(shè)微信視頻號(hào)，每天都會(huì)分享最新的 AIGC 資訊和神器，讓你輕松掌握 AI 發(fā)展動(dòng)態(tài)。也歡迎大家掃描下方的二維碼加入“優(yōu)設(shè) AI 知識(shí)交流群”，和我及其他設(shè)計(jì)師一起交流學(xué)習(xí) AI 知識(shí)~

推薦閱讀：