徹底解放雙手!如何用DeepSeek結(jié)合Stable Diffusion快速出圖?

我們熱衷探索 Stable Diffusion 是因?yàn)樗拈_(kāi)源生態(tài)與極大的自由度和控制力。盡管 Stable Diffusion 在圖像控制精度上遠(yuǎn)超 Midjourney,但其復(fù)雜操作流程總讓創(chuàng)作者望而卻步。

然而,最近情況出現(xiàn)了轉(zhuǎn)機(jī)。開(kāi)年以來(lái),DeepSeek 因其最新發(fā)布的 R1 推理模型極其強(qiáng)大的推理認(rèn)知能力席卷全球科技圈——它不僅登頂中美應(yīng)用商店下載Top榜,更被黑神話悟空的制作人馮驥稱為“國(guó)運(yùn)級(jí)科技成果”。

我們看了網(wǎng)上各位大神們的文章,發(fā)現(xiàn)他們利用 DeepSeek 強(qiáng)大的認(rèn)知能力,不斷將 Stable Diffusion 的操作門(mén)檻降低。站在大佬們的肩膀上,我們進(jìn)一步嘗試并成功借助 DeepSeek 的「聯(lián)網(wǎng)+推理」能力讓 Stable Diffusion 中布置 ComfyUI 工作流 和 煉制 LoRA 模型兩大環(huán)節(jié)變得簡(jiǎn)單而高效。

更多DeepSeek運(yùn)用干貨:

一、速通 ComfyUI 工作流

徹底解放雙手!如何用DeepSeek結(jié)合Stable Diffusion快速出圖?

ComfyUI 節(jié)點(diǎn)繁多,連接復(fù)雜。選擇合適的節(jié)點(diǎn)并了解其連接與設(shè)置方法需要大量相關(guān)知識(shí),這無(wú)疑極大抬高了 ComfyUI 的使用門(mén)檻。并且由于各節(jié)點(diǎn),插件更新頻率不統(tǒng)一,且迭代較快,使得教程過(guò)時(shí)的速度很快,數(shù)月前新推出的教程,現(xiàn)在就可能由于節(jié)點(diǎn)更新而無(wú)法完全適配。因此我們可以利用 DeepSeek 的信息檢索能力讓他快速輔助我們搭建出合理的工作流。

目前 DeepSeek 大模型已接入多個(gè)平臺(tái),我們可以選擇任意一個(gè)支持聯(lián)網(wǎng)搜索的平臺(tái)進(jìn)行使用。

目前,主流的工作流創(chuàng)建有兩種方法,一種是直接使用現(xiàn)成的工作流 json 文件進(jìn)行導(dǎo)入,另一種是手動(dòng)連接節(jié)點(diǎn)。我們?cè)诙啻螄L試后發(fā)現(xiàn) DeepSeek 并不能寫(xiě)出完整可用的工作流 json 代碼。這可能是因?yàn)楣ぷ髁鞯拇a規(guī)范復(fù)雜,且網(wǎng)絡(luò)上可參考的代碼較少,導(dǎo)致生成代碼質(zhì)量較低,格式不規(guī)范。

因此我們通過(guò)讓 DeepSeek 描述節(jié)點(diǎn)連接方法的方式輔助我們進(jìn)行工作流的手動(dòng)搭建。

徹底解放雙手!如何用DeepSeek結(jié)合Stable Diffusion快速出圖?

對(duì)于指令,我們按照 “任務(wù)+要求+補(bǔ)充” 的結(jié)構(gòu)化方法進(jìn)行描述,如果需要搭建的流程是基于特定環(huán)境或情景,也可以加上對(duì)指令背景的描述。

因此我們給出如下指令:

“我要在 ComfyUI 上搭建文生圖工作流,讓我可以輸入提示詞生成對(duì)應(yīng)描述的圖片(任務(wù)),并且詳細(xì)說(shuō)明每個(gè)節(jié)點(diǎn)的各接口是否空置或與哪個(gè)節(jié)點(diǎn)連接(要求),并且詳細(xì)說(shuō)明連接完畢后這個(gè)工作流如何使用,可以如何進(jìn)行調(diào)節(jié)(補(bǔ)充)”

徹底解放雙手!如何用DeepSeek結(jié)合Stable Diffusion快速出圖?

可以看到 DeepSeek 給出了一個(gè)整體的節(jié)點(diǎn)連接順序,并且對(duì)每個(gè)節(jié)點(diǎn)該如何連接進(jìn)行了詳細(xì)描述

徹底解放雙手!如何用DeepSeek結(jié)合Stable Diffusion快速出圖?

接下來(lái)我們?cè)?liblib 去嘗試進(jìn)行工作流搭建,首先我們按照 DeepSeek 的描述,搜索“Checkpoint Loader”,添加對(duì)應(yīng)節(jié)點(diǎn),并按照描述進(jìn)行連接。

徹底解放雙手!如何用DeepSeek結(jié)合Stable Diffusion快速出圖?

最后我們輸入正面和負(fù)面提示詞進(jìn)行測(cè)試,可以看到,DeepSeek 完整實(shí)現(xiàn)了文生圖的一個(gè)工作流的搭建,并且可以正常運(yùn)行并生成圖片,極大降低了新手的入門(mén)門(mén)檻。

二、高效打標(biāo)簽,速通 LoRA 模型煉制

之前,在煉制 LoRA 模型的時(shí)候,所花費(fèi)時(shí)間最多的部分就是給圖片打標(biāo)簽的部分。官方自帶的打標(biāo)簽算法大部分時(shí)候在主體物非人物的情況下,出來(lái)的標(biāo)簽經(jīng)常和主體圖相差十萬(wàn)八千里。因此,這大多數(shù)這種情況需要我們采用手動(dòng)標(biāo)注的方式。而底模(Checkpoint)如果迭代了,那就意味著我?guī)缀跣枰阉械牧鞒讨匦伦咭槐?。帶?lái)的重復(fù)工作量可想而知。

而這一切在飛書(shū)多維表格接入 DeepSeek 改變了。前兩天看了卡茲克大佬的文章 《接入了 DeepSeek 后的飛書(shū),強(qiáng)大到我有點(diǎn)陌生》,里面提到了借助飛書(shū)的多維表格,再結(jié)合 DeepSeek 的推理能力可以批量輸出內(nèi)容。這里我就聯(lián)想到了,是否可以借助這樣的方式,將打標(biāo)簽這一環(huán)節(jié)變得簡(jiǎn)單。

我們做的這個(gè)模版就在這里,大家可以自行使用哈:
https://acn3dfl2e25a.feishu.cn/base/AfDAbOK2bap0oqs9JcUcF7tPnTd?from=from_copylink

徹底解放雙手!如何用DeepSeek結(jié)合Stable Diffusion快速出圖?

基本就是在第二列上傳需要打標(biāo)簽的圖片。之后,在表頭為「描述」的列中,借助字節(jié)的「AI 圖片理解」模塊識(shí)別圖片的內(nèi)容并進(jìn)行描述。之后,在「xx 提示詞」的列中,使用「DeepSeek 大模型」并要求其根據(jù)「描述」列中給出的描述內(nèi)容,生成提示詞。

徹底解放雙手!如何用DeepSeek結(jié)合Stable Diffusion快速出圖?

徹底解放雙手!如何用DeepSeek結(jié)合Stable Diffusion快速出圖?

這里需要注意的是,在寫(xiě)描述需求的時(shí)候,最好加上「生成英文提示詞」,如果沒(méi)有英文的話,大概率會(huì)有幾個(gè)提示詞給出中文的,雖然可以點(diǎn)擊進(jìn)行翻譯,但也是非常麻煩的,目前多維表格針對(duì)由 DeepSeek 生成的內(nèi)容是不支持修改的,哪怕只是改動(dòng)翻譯。

徹底解放雙手!如何用DeepSeek結(jié)合Stable Diffusion快速出圖?

完成后,將提示詞復(fù)制/導(dǎo)出,并以數(shù)據(jù)集的形式導(dǎo)入煉丹爐就好啦,具體煉丹詳情可見(jiàn)這一篇《只要三分鐘,讓你快速掌握 SD-LoRA 模型煉制的基礎(chǔ)知識(shí)》

結(jié)尾

這次將 Stable Diffusion 和 DeepSeek 的成功結(jié)合,確實(shí)讓我們感到無(wú)比振奮。過(guò)去,AI 在設(shè)計(jì)領(lǐng)域的應(yīng)用往往是碎片化的,需要人工在不同工具之間來(lái)回切換和協(xié)調(diào)。而這次嘗試,仿佛為我們打開(kāi)了一扇新的大門(mén),預(yù)示著 AI 全流程設(shè)計(jì)時(shí)代的已悄然降臨。

這讓我想起了一個(gè)關(guān)于荷花的故事:在一個(gè)空池塘里,荷花每天以翻倍的速度生長(zhǎng),第一天 1 朵,第二天 2 朵,第三天 4 朵……直到第30天,池塘被完全填滿。那么,池塘被填滿一半是在哪一天呢?答案是第29天。

這個(gè)故事似乎也在暗示著我們當(dāng)下的處境——AI技術(shù)的進(jìn)步并非一蹴而就,而是以指數(shù)級(jí)的速度悄然積累。

或許,我們正站在第 29 天的門(mén)檻上,眼前的一切只是冰山一角。

真正的爆發(fā),可能就在不遠(yuǎn)處。

收藏 125
點(diǎn)贊 92

復(fù)制本文鏈接 文章為作者獨(dú)立觀點(diǎn)不代表優(yōu)設(shè)網(wǎng)立場(chǎng),未經(jīng)允許不得轉(zhuǎn)載。