一、AI 繪畫工具的選擇與運(yùn)用

1. 工作場(chǎng)景下 AI 繪畫工具的選擇

目前文生圖的主流 AI 繪畫平臺(tái)主要有三種：Midjourney、Stable Diffusion、DALL·E。如果要在實(shí)際工作場(chǎng)景中應(yīng)用，我更推薦 Stable Diffusion。

另一個(gè)熱門平臺(tái)的基礎(chǔ)教程：

通過(guò)對(duì)比，Stable Diffusion 在數(shù)據(jù)安全性（可本地部署）、可擴(kuò)展性（成熟插件多）、風(fēng)格豐富度（眾多模型可供下載，也可以訓(xùn)練自有風(fēng)格模型）、費(fèi)用版權(quán)（開源免費(fèi)、可商用）等方面更適合我們的工作場(chǎng)景。

那么如何在實(shí)際工作中應(yīng)用 Stable Diffusion 進(jìn)行 AI 繪畫？

要在實(shí)際工作中應(yīng)用 AI 繪畫，需要解決兩個(gè)關(guān)鍵問(wèn)題，分別是：圖像的精準(zhǔn)控制和圖像的風(fēng)格控制。

2. 圖像精準(zhǔn)控制

圖像精準(zhǔn)控制推薦使用 Stable Diffusion 的 ControlNet 插件。在 ControlNet 出現(xiàn)之前，AI 繪畫更像開盲盒，在圖像生成前，你永遠(yuǎn)都不知道它會(huì)是一張?jiān)鯓拥膱D。ControlNet 的出現(xiàn)，真正意義上讓 AI 繪畫上升到生產(chǎn)力級(jí)別。簡(jiǎn)單來(lái)說(shuō) ControlNet 它可以精準(zhǔn)控制 AI 圖像的生成。

ControlNet 主要有 8 個(gè)應(yīng)用模型：OpenPose、Canny、HED、Scribble、Mlsd、Seg、Normal Map、Depth。以下做簡(jiǎn)要介紹：

?OpenPose 姿勢(shì)識(shí)別

通過(guò)姿勢(shì)識(shí)別，達(dá)到精準(zhǔn)控制人體動(dòng)作。除了生成單人的姿勢(shì)，它還可以生成多人的姿勢(shì)，此外還有手部骨骼模型，解決手部繪圖不精準(zhǔn)問(wèn)題。以下圖為例：左側(cè)為參考圖像，經(jīng) OpenPose 精準(zhǔn)識(shí)別后，得出中間的骨骼姿勢(shì)，再用文生圖功能，描述主體內(nèi)容、場(chǎng)景細(xì)節(jié)和畫風(fēng)后，就能得到一張同樣姿勢(shì)，但風(fēng)格完全不同的圖。

?Canny 邊緣檢測(cè)

Canny 模型可以根據(jù)邊緣檢測(cè)，從原始圖片中提取線稿，再根據(jù)提示詞，來(lái)生成同樣構(gòu)圖的畫面，也可以用來(lái)給線稿上色。

HED 邊緣檢測(cè)

跟 Canny 類似，但自由發(fā)揮程度更高。HED 邊界保留了輸入圖像中的細(xì)節(jié)，繪制的人物明暗對(duì)比明顯，輪廓感更強(qiáng)，適合在保持原來(lái)構(gòu)圖的基礎(chǔ)上對(duì)畫面風(fēng)格進(jìn)行改變時(shí)使用。

Scribble 黑白稿提取

涂鴉成圖，比 HED 和 Canny 的自由發(fā)揮程度更高，也可以用于對(duì)手繪線稿進(jìn)行著色處理。

Mlsd 直線檢測(cè)

通過(guò)分析圖片的線條結(jié)構(gòu)和幾何形狀來(lái)構(gòu)建出建筑外框，適合建筑設(shè)計(jì)的使用。

Seg 區(qū)塊標(biāo)注

通過(guò)對(duì)原圖內(nèi)容進(jìn)行語(yǔ)義分割，可以區(qū)分畫面色塊，適用于大場(chǎng)景的畫風(fēng)更改。

Normal Map 法線貼圖

適用于三維立體圖，通過(guò)提取用戶輸入圖片中的 3D 物體的法線向量，以法線為參考繪制出一副新圖，此圖與原圖的光影效果完全相同。

Depth 深度檢測(cè)

通過(guò)提取原始圖片中的深度信息，可以生成具有同樣深度結(jié)構(gòu)的圖。還可以通過(guò) 3D 建模軟件直接搭建出一個(gè)簡(jiǎn)單的場(chǎng)景，再用 Depth 模型渲染出圖。

ControlNet 還有項(xiàng)關(guān)鍵技術(shù)是可以開啟多個(gè) ControlNet 的組合使用，對(duì)圖像進(jìn)行多條件控制。例如：你想對(duì)一張圖像的背景和人物姿態(tài)分別進(jìn)行控制，那我們可以配置 2 個(gè) ControlNet，第 1 個(gè) ControlNet 使用 Depth 模型對(duì)背景進(jìn)行結(jié)構(gòu)提取并重新風(fēng)格化，第 2 個(gè) ControlNet 使用 OpenPose 模型對(duì)人物進(jìn)行姿態(tài)控制。此外在保持 Seed 種子數(shù)相同的情況下，固定出畫面結(jié)構(gòu)和風(fēng)格，然后定義人物不同姿態(tài)，渲染后進(jìn)行多幀圖像拼接，就能生成一段動(dòng)畫。

以上通過(guò) ControlNet 的 8 個(gè)主要模型，我們解決了圖像結(jié)構(gòu)的控制問(wèn)題。接下來(lái)就是對(duì)圖像風(fēng)格進(jìn)行控制。

3. 圖像風(fēng)格控制

Stable Diffusion 實(shí)現(xiàn)圖像風(fēng)格化的途徑主要有以下幾種：Artist 藝術(shù)家風(fēng)格、Checkpoint 預(yù)訓(xùn)練大模型、LoRA 微調(diào)模型、Textual Inversion 文本反轉(zhuǎn)模型。

Artist 藝術(shù)家風(fēng)格

主要通過(guò)畫作種類 Tag（如：oil painting、ink painting、comic、illustration），畫家/畫風(fēng) Tag（如：Hayao Miyazaki、Cyberpunk）等控制圖像風(fēng)格。網(wǎng)上也有比較多的這類風(fēng)格介紹，如：

1. https://promptomania.com
2. https://www.urania.ai/top-sd-artists

但需要注意的是，使用藝術(shù)家未經(jīng)允許的風(fēng)格進(jìn)行商用，會(huì)存在侵權(quán)問(wèn)題。

Checkpoint 預(yù)訓(xùn)練大模型

Checkpoint 是根據(jù)特定風(fēng)格訓(xùn)練的大模型，模型風(fēng)格強(qiáng)大，但體積也較大，一般 5-7GB。模型訓(xùn)練難度大，需要極高的顯卡算力。目前網(wǎng)上已經(jīng)有非常多的不同風(fēng)格的成熟大模型可供下載使用。如：https://huggingface.co/models?pipeline_tag=text-to-image

LoRA 微調(diào)模型

LoRA 模型是通過(guò)截取大模型的某一特定部分生成的小模型，雖然不如大模型的能力完整，但短小精悍。因?yàn)橛?xùn)練方向明確，所以在生成特定內(nèi)容的情況下，效果會(huì)更好。LoRA 模型也常用于訓(xùn)練自有風(fēng)格模型，具有訓(xùn)練速度快，模型大小適中，配置要求低（8G 顯存）的特點(diǎn)，能用少量圖片訓(xùn)練出風(fēng)格效果。常用 LoRA 模型下載地址：

1. https://stableres.info
2. https//civitai.com（友情提醒：不要在辦公場(chǎng)所打開，不然會(huì)很尷尬）

Textual Inversion 文本反轉(zhuǎn)模型

Textual Inversion 文本反轉(zhuǎn)模型也是微調(diào)模型的一種，它是針對(duì)一個(gè)風(fēng)格或一個(gè)主題訓(xùn)練的風(fēng)格模型，一般用于提高人物還原度或優(yōu)化畫風(fēng)，用這種方式生成的模型非常小，一般幾十 KB，在生成畫作時(shí)使用對(duì)應(yīng) Tag 在 prompt 中進(jìn)行調(diào)用。

自有風(fēng)格模型訓(xùn)練

Stable Diffusion 的強(qiáng)大之處還在于能夠自定義訓(xùn)練風(fēng)格模型，如果現(xiàn)有風(fēng)格無(wú)法滿足要求，我們還可以自己訓(xùn)練特定風(fēng)格模型。Stable Diffusion 支持訓(xùn)練大模型和微調(diào)模型。我比較推薦的是用 LoRA 模型訓(xùn)練方法，該方法訓(xùn)練速度快，模型大小適中（100MB 左右），配置要求低（8G 顯存），能用極少量圖片訓(xùn)練出風(fēng)格效果。例如：下圖中我用了 10 張工作中的素材圖，大概花了 20 分鐘時(shí)間訓(xùn)練出該風(fēng)格的 LoRA 模型，然后使用該模型就可以生成風(fēng)格類似的圖片。如果將訓(xùn)練樣本量增大，那么訓(xùn)練出來(lái)的風(fēng)格樣式會(huì)更加精確。

了解了 Stable Diffusion 能干什么后，再來(lái)介紹下如何部署安裝使用它。

二、AI 繪畫工具的部署安裝

以下主要介紹三種部署安裝方式：云端部署、本地部署、本機(jī)安裝，各有優(yōu)缺點(diǎn)。當(dāng)本機(jī)硬件條件支持的情況下，推薦本地部署，其它情況推薦云端方式。

1. 云端部署 Stable Diffusion

通過(guò) Google Colab 進(jìn)行云端部署，推薦將成熟的 Stable Diffusion Colab 項(xiàng)目復(fù)制到自己的 Google 云端硬盤運(yùn)行，省去配置環(huán)境麻煩。這種部署方式的優(yōu)點(diǎn)是：不吃本機(jī)硬件，在有限時(shí)間段內(nèi)，可以免費(fèi)使用 Google Colab 強(qiáng)大的硬件資源，通常能給到 15G 的 GPU 算力，出圖速度非常快。缺點(diǎn)是：免費(fèi) GPU 使用時(shí)長(zhǎng)不固定，通常情況下一天有幾個(gè)小時(shí)的使用時(shí)長(zhǎng)，如果需要更長(zhǎng)時(shí)間使用，可以訂閱 Colab 服務(wù)。

推薦兩個(gè)目前比較好用的 Stable Diffusion Colab，選擇相應(yīng)模型版本運(yùn)行即可：

1. Stable Diffusion Colab：github.com/camenduru/stable-diffusion-webui-colab （不帶 ControlNet）
2. ControlNet Colab：github.com/camenduru/controlnet-colab（帶 ControlNet）

Colab 運(yùn)行界面如下，點(diǎn)擊連接虛擬機(jī)，連接成功后點(diǎn)擊左側(cè)運(yùn)行代碼，等待環(huán)境自動(dòng)配置完成后，點(diǎn)擊 WebUI URL 即可運(yùn)行 Stable Diffusion。

Stable Diffusion WebUI 運(yùn)行界面如下，在后面的操作方法里我會(huì)介紹下 Stable Diffusion 的基礎(chǔ)操作。

2. 本地部署 Stable Diffusion

相較于 Google Colab 云端部署，本地部署 Stable Diffusion 的可擴(kuò)展性更強(qiáng)，可自定義安裝需要的模型和插件，隱私性和安全性更高，自由度也更高，而且完全免費(fèi)。當(dāng)然缺點(diǎn)是對(duì)本機(jī)硬件要求高，Windows 需要 NVIDIA 顯卡，8G 以上顯存，16G 以上內(nèi)存。Mac 需要 M1/M2 芯片才可運(yùn)行。

本地部署方式主要分四步，以 Mac M1 為例：

第 1 步：安裝 Homebrew 和 Python3.10 環(huán)境

Homebrew 是一個(gè)包管理工具，具體安裝方法可參考： https://brew.idayer.com/

Python3.10 安裝：brew install cmake protobuf rust python@3.10 git wget

第 2 步：克隆 Stable Diffusion WebUI 項(xiàng)目倉(cāng)庫(kù)

推薦下載 AUTOMATIC1111 的 Stable Diffusion WebUI，能很好的支持 ControlNet 擴(kuò)展。

克隆項(xiàng)目倉(cāng)庫(kù)：git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui

第 3 步：下載并存放 Stable Diffusion 模型

Stable Diffusion 模型可以下載官方提供的 1.5 或 2.0 版本的 ckpt 文件，其它風(fēng)格模型則根據(jù)自己需要下載。下載地址：huggingface.co/models?pipeline_tag=text-to-image

下載完后找到 stable-diffusion-webui 文件夾，把下載的 ckpt 大模型文件存放到 stable-diffusion-webui/models/Stable-diffusion 目錄下。

如果下載了 LoRA 模型的 safetensors 文件，則存放到 stable-diffusion-webui/models/Lora 目錄中。

Textual Inversion 文本反轉(zhuǎn)模型的 pt 文件，存放到 stable-diffusion-webui/embeddings 目錄中。

第 4 步：運(yùn)行 Stable Diffusion WebUI

模型文件存放完成后，運(yùn)行 Stable Diffusion WebUI：

先輸入 cd stable-diffusion-webui 再輸入 ./webui.sh，程序會(huì)自動(dòng)完成下載安裝。

運(yùn)行完畢后顯示：Running on local URL: http://127.0.0.1:7860 To create a public link, set `share=True` in `launch()`

在瀏覽器中打開 http://127.0.0.1:7860 ，即可運(yùn)行 Stable Diffusion WebUI

需要用到的資源：

1. Homebrew 包管理工具：brew.idayer.com/guide/
2. Python 安裝： www.python.org/downloads/
3. Stable Diffusion 項(xiàng)目倉(cāng)庫(kù)：github.com/AUTOMATIC1111/stable-diffusion-webui
4. Stable Diffusion 模型：huggingface.co/models?pipeline_tag=text-to-image

ControlNet 的安裝

安裝完 Stable Diffusion WebUI 后，我們?cè)侔惭b ControlNet 擴(kuò)展，以便進(jìn)行圖像的精準(zhǔn)控制。

安裝方法：

第 1 步：安裝 ControlNet 插件

點(diǎn)擊擴(kuò)展，選擇從 URL 安裝，輸入插件地址 https://github.com/Mikubill/sd-webui-controlnet ，點(diǎn)擊 Install 后重啟 WebUI。

第 2 步：安裝 ControlNet 模型

打開模型下載頁(yè)面 https://huggingface.co/lllyasviel/ControlNet/tree/main

1. 將 annotator 目錄中的人體檢測(cè)預(yù)處理模型 body_pose_model.pth 和 hand_pose_model.pth 下載至本地 stable-diffusion-webui/extensions/sd-webui-controlnet/annotator/openpose 目錄。
2. 將深度圖模型 dpt_hybrid-midas-501f0c75.pt 下載至本地 stable-diffusion-webui/extensions/sd-webui-controlnet/annotator/midas 目錄
   將 models 目錄中的文件下載至本地 stable-diffusion-webui/extensions/sd-webui-controlnet/models 目錄
3. 重啟 WebUI 即可使用 ControlNet

解決 ControlNet 在 Mac M1 上無(wú)法運(yùn)行問(wèn)題

對(duì)于 Mac M1 芯片的電腦來(lái)說(shuō)，直接運(yùn)行 ControlNet 會(huì)報(bào)錯(cuò)，導(dǎo)致無(wú)法使用 ControlNet。原因是 CUDA 是適用于 NVIDIA GPU 的計(jì)算框架，當(dāng)前 Mac OS 無(wú)法使用此框架，因此腳本會(huì)嘗試使用 CPU，但 M1 不支持半精度數(shù)字。因此我們需要跳過(guò) CUDA 并使用 no-half。

解決方法：

1. 找到 webui-macos-env.sh 文件
2. 添加 export COMMANDLINE_ARGS="--precision full --no-half --skip-torch-cuda-test"

3. 本機(jī)安裝 DiffusionBee

如果覺得云端部署和本地部署比較繁瑣，或?qū)κ褂靡鬀]有那么高，那就試下最簡(jiǎn)單的一鍵安裝方式。下載 Diffusionbee 應(yīng)用：diffusionbee.com/download。優(yōu)點(diǎn)是方便快捷，缺點(diǎn)是擴(kuò)展能力差（可以安裝大模型，無(wú)法進(jìn)行插件擴(kuò)展，如 ControlNet）。

三、AI 繪畫工具的操作技巧

1. Stable Diffusion 基礎(chǔ)操作

文生圖

如圖所示 Stable Diffusion WebUI 的操作界面主要分為：模型區(qū)域、功能區(qū)域、參數(shù)區(qū)域、出圖區(qū)域。

1. txt2img 為文生圖功能，重點(diǎn)參數(shù)介紹：
2. 正向提示詞：描述圖片中希望出現(xiàn)的內(nèi)容
3. 反向提示詞：描述圖片中不希望出現(xiàn)的內(nèi)容
4. Sampling method：采樣方法，推薦選擇 Euler a 或 DPM++ 系列，采樣速度快
5. Sampling steps：迭代步數(shù)，數(shù)值越大圖像質(zhì)量越好，生成時(shí)間也越長(zhǎng)，一般控制在 30-50 就能出效果
6. Restore faces：可以優(yōu)化臉部生成
7. Width/Height：生成圖片的寬高，越大越消耗顯存，生成時(shí)間也越長(zhǎng)，一般方圖 512x512，豎圖 512x768，需要更大尺寸，可以到 Extras 功能里進(jìn)行等比高清放大
8. CFG：提示詞相關(guān)性，數(shù)值越大越相關(guān)，數(shù)值越小越不相關(guān)，一般建議 7-12 區(qū)間
9. Batch count/Batch size：生成批次和每批數(shù)量，如果需要多圖，可以調(diào)整下每批數(shù)量
10. Seed：種子數(shù)，-1 表示隨機(jī)，相同的種子數(shù)可以保持圖像的一致性，如果覺得一張圖的結(jié)構(gòu)不錯(cuò)，但對(duì)風(fēng)格不滿意，可以將種子數(shù)固定，再調(diào)整 prompt 生成

圖生圖

img2img 功能可以生成與原圖相似構(gòu)圖色彩的畫像，或者指定一部分內(nèi)容進(jìn)行變換?？梢灾攸c(diǎn)使用 Inpaint 圖像修補(bǔ)這個(gè)功能：

1. Resize mode：縮放模式，Just resize 只調(diào)整圖片大小，如果輸入與輸出長(zhǎng)寬比例不同，圖片會(huì)被拉伸。Crop and resize 裁剪與調(diào)整大小，如果輸入與輸出長(zhǎng)寬比例不同，會(huì)以圖片中心向四周，將比例外的部分進(jìn)行裁剪。Resize and fill 調(diào)整大小與填充，如果輸入與輸出分辨率不同，會(huì)以圖片中心向四周，將比例內(nèi)多余的部分進(jìn)行填充
2. Mask blur：蒙版模糊度，值越大與原圖邊緣的過(guò)度越平滑，越小則邊緣越銳利
3. Mask mode：蒙版模式，Inpaint masked 只重繪涂色部分，Inpaint not masked 重繪除了涂色的部分
4. Masked Content：蒙版內(nèi)容，fill 用其他內(nèi)容填充，original 在原來(lái)的基礎(chǔ)上重繪
5. Inpaint area：重繪區(qū)域，Whole picture 整個(gè)圖像區(qū)域，Only masked 只在蒙版區(qū)域
6. Denoising strength：重繪幅度，值越大越自由發(fā)揮，越小越和原圖接近

ControlNet

安裝完 ControlNet 后，在 txt2img 和 img2img 參數(shù)面板中均可以調(diào)用 ControlNet。操作說(shuō)明：

1. Enable：?jiǎn)⒂?ControlNet
2. Low VRAM：低顯存模式優(yōu)化，建議 8G 顯存以下開啟
3. Guess mode：猜測(cè)模式，可以不設(shè)置提示詞，自動(dòng)生成圖片
4. Preprocessor：選擇預(yù)處理器，主要有 OpenPose、Canny、HED、Scribble、Mlsd、Seg、Normal Map、Depth
5. Model：ControlNet 模型，模型選擇要與預(yù)處理器對(duì)應(yīng)
6. Weight：權(quán)重影響，使用 ControlNet 生成圖片的權(quán)重占比影響
7. Guidance strength(T)：引導(dǎo)強(qiáng)度，值為 1 時(shí)，代表每迭代 1 步就會(huì)被 ControlNet 引導(dǎo) 1 次
8. Annotator resolution：數(shù)值越高，預(yù)處理圖像越精細(xì)
9. Canny low/high threshold：控制最低和最高采樣深度
10. Resize mode：圖像大小模式，默認(rèn)選擇縮放至合適
11. Canvas width/height：畫布寬高
12. Create blank canvas：創(chuàng)建空白畫布
13. Preview annotator result：預(yù)覽注釋器結(jié)果，得到一張 ControlNet 模型提取的特征圖片
14. Hide annotator result：隱藏預(yù)覽圖像窗口

LoRA 模型訓(xùn)練說(shuō)明

前面提到 LoRA 模型具有訓(xùn)練速度快，模型大小適中（100MB 左右），配置要求低（8G 顯存），能用少量圖片訓(xùn)練出風(fēng)格效果的優(yōu)勢(shì)。

以下簡(jiǎn)要介紹該模型的訓(xùn)練方法：

第 1 步：數(shù)據(jù)預(yù)處理

在 Stable Diffusion WebUI 功能面板中，選擇 Train 訓(xùn)練功能，點(diǎn)選 Preprocess images 預(yù)處理圖像功能。在 Source directory 欄填入你要訓(xùn)練的圖片存放目錄，在 Destination directory 欄填入預(yù)處理文件輸出目錄。width 和 height 為預(yù)處理圖片的寬高，默認(rèn)為 512x512，建議把要訓(xùn)練的圖片大小統(tǒng)一改成這個(gè)尺寸，提升處理速度。勾選 Auto focal point crop 自動(dòng)焦點(diǎn)裁剪，勾選 Use deepbooru for caption 自動(dòng)識(shí)別圖中的元素并打上標(biāo)簽。點(diǎn)擊 Preprocess 進(jìn)行圖片預(yù)處理。

第 2 步：配置模型訓(xùn)練參數(shù)

在這里可以將模型訓(xùn)練放到 Google Colab 上進(jìn)行，調(diào)用 Colab 的免費(fèi) 15G GPU 將大大提升模型訓(xùn)練速度。LoRA 微調(diào)模型訓(xùn)練工具我推薦使用 Kohya，運(yùn)行 Kohya Colab： https://colab.research.google.com/github/Linaqruf/kohya-trainer/blob/main/fast-kohya-trainer.ipynb

配置訓(xùn)練參數(shù)：

先在 content 目錄建立 training_dir/training_data 目錄，將步驟 1 中的預(yù)處理文件上傳至該數(shù)據(jù)訓(xùn)練目錄。然后配置微調(diào)模型命名和數(shù)據(jù)訓(xùn)練目錄，在 Download Pretrained Model 欄配置需要參考的預(yù)訓(xùn)練模型文件。其余的參數(shù)可以根據(jù)需要調(diào)整設(shè)置。

第 3 步：訓(xùn)練模型

參數(shù)配置完成后，運(yùn)行程序即可進(jìn)行模型訓(xùn)練。訓(xùn)練完的模型將被放到 training_dir/output 目錄，我們下載 safetensors 文件格式的模型，存放到 stable-diffusion-webui/models/Lora 目錄中即可調(diào)用該模型。由于直接從 Colab 下載速度較慢，另外斷開 Colab 連接后也將清空模型文件，這里建議在 Extras 中配置 huggingface 的 Write Token，將模型文件上傳到 huggingface 中，再?gòu)?huggingface File 中下載，下載速度大大提升，文件也可進(jìn)行備份。

2. Prompt 語(yǔ)法技巧

文生圖模型的精髓在于 Prompt 提示詞，如何寫好 Prompt 將直接影響圖像的生成質(zhì)量。

提示詞結(jié)構(gòu)化

Prompt 提示詞可以分為 4 段式結(jié)構(gòu)：畫質(zhì)畫風(fēng) + 畫面主體 + 畫面細(xì)節(jié) + 風(fēng)格參考

1. 畫面畫風(fēng)：主要是大模型或 LoRA 模型的 Tag、正向畫質(zhì)詞、畫作類型等
2. 畫面主體：畫面核心內(nèi)容、主體人/事/物/景、主體特征/動(dòng)作等
3. 畫面細(xì)節(jié)：場(chǎng)景細(xì)節(jié)、人物細(xì)節(jié)、環(huán)境燈光、畫面構(gòu)圖等
4. 風(fēng)格參考：藝術(shù)風(fēng)格、渲染器、Embedding Tag 等

提示詞語(yǔ)法

1. 提示詞排序：越前面的詞匯越受 AI 重視，重要事物的提示詞放前面
2. 增強(qiáng)/減弱：(提示詞:權(quán)重?cái)?shù)值)，默認(rèn) 1，大于 1 加強(qiáng)，低于 1 減弱。如 (doctor:1.3)
3. 混合：提示詞 | 提示詞，實(shí)現(xiàn)多個(gè)要素混合，如 [red|blue] hair 紅藍(lán)色頭發(fā)混合
4. + 和 AND：用于連接短提示詞，AND 兩端要加空格
5. 分步渲染：[提示詞 A:提示詞 B:數(shù)值]，先按提示詞 A 生成，在設(shè)定的數(shù)值后朝提示詞 B 變化。如[dog:cat:30] 前 30 步畫狗后面的畫貓，[dog:cat:0.9] 前面 90%畫狗后面 10%畫貓
6. 正向提示詞：masterpiece, best quality 等畫質(zhì)詞，用于提升畫面質(zhì)量
7. 反向提示詞：nsfw, bad hands, missing fingers……, 用于不想在畫面中出現(xiàn)的內(nèi)容
8. Emoji：支持 emoji，如 ?? 形容表情，?? 修飾手

常用提示詞舉例：

3. ChatGPT 輔助生成提示詞

我們也可以借助 ChatGPT 幫我們生成提示詞參考。

1. 給 ChatGPT 一段示例參考：https://dreamlike.art/guides/using-openai-chat-gpt-to-write-stable-diffusion-prompts
2. 根據(jù)參考生成 Prompts，再添加細(xì)節(jié)潤(rùn)色

4. Stable Diffusion 全中文環(huán)境配置

在實(shí)際使用中，我們還可以把 Stable Diffusion 配置成全中文環(huán)境，這將大大增加操作友好度。全中文環(huán)境包括了 Stable Diffusion WebUI 的漢化和 Prompt 支持中文輸入。

Stable Diffusion WebUI 漢化

1. 安裝中文擴(kuò)展插件：點(diǎn)擊 Extensions 選擇 Install from URL，輸入 https://github.com/VinsonLaro/stable-diffusion-webui-chinese ，點(diǎn)擊 Install，并重啟 WebUI
2. 切換到中文模式：在 Settings 面板中，將 User interface 中的 Localization 設(shè)置成 Chinese 中文模式，重啟 WebUI 即可切換到中文界面

Prompt 中文輸入

1. 下載提示詞中文擴(kuò)展插件： https://github.com/butaixianran/Stable-Diffusion-Webui-Prompt-Translator ，將項(xiàng)目作為 zip 文件下載，解壓后放到 stable-diffusion-webui/extensions 目錄中，重啟 WebUI
2. 調(diào)用百度翻譯 API：去 api.fanyi.baidu.com 申請(qǐng)一個(gè)免費(fèi) API Key，并將翻譯服務(wù)開通。在管理控制臺(tái)的開發(fā)者信息頁(yè)中確認(rèn) APP ID 和 密鑰
3. 在 Stable Diffusion WebUI 的 Prompt Translator 面板中，選擇百度翻譯引擎，并將申請(qǐng)的 APP ID 和 密鑰填寫進(jìn)去，點(diǎn)擊保存
4. 使用：在 Stable Diffusion WebUI 頁(yè)面頂部會(huì)出現(xiàn)一個(gè)翻譯工具欄，我們?cè)谔崾驹~輸入框中輸入中文，點(diǎn)擊工具欄中的翻譯就能自動(dòng)把提示詞替換成英文

結(jié)語(yǔ)

本文簡(jiǎn)要介紹了 AI 繪畫工具 Stable Diffusion 的安裝使用，以及如何通過(guò) ControlNet 實(shí)現(xiàn)圖像的精準(zhǔn)控制，如何通過(guò)模型加載和自有風(fēng)格模型訓(xùn)練來(lái)控制圖像畫風(fēng)?？梢哉f(shuō)這些技術(shù)的出現(xiàn)使得 AI 繪畫具備了實(shí)際的生產(chǎn)能力，設(shè)計(jì)師們可以充分利用好這些強(qiáng)大的生產(chǎn)工具來(lái)提升設(shè)計(jì)效率。