Stable Diffusion 模型技術(shù)正引領(lǐng)一場(chǎng)前所未有的創(chuàng)新風(fēng)暴，徹底重塑著創(chuàng)意產(chǎn)業(yè)的面貌。

在這股開源技術(shù)洪流中，@SD煉丹師忠忠 以其非凡的洞察力和不懈的努力，成為了SD模型訓(xùn)練領(lǐng)域的杰出探索者。他通過其精心打造的 BDicon、互聯(lián)網(wǎng)插畫風(fēng)、三維電商展臺(tái)等系列模型，在SD模型訓(xùn)練領(lǐng)域樹立了新的標(biāo)桿，生動(dòng)詮釋了 SD 模型訓(xùn)練技術(shù)如何實(shí)現(xiàn)設(shè)計(jì)效率的飛躍式增長(zhǎng)，還為阿里、Canva、華為、平安科技、騰訊、等公司提供了 SD 應(yīng)用訓(xùn)練分享與培訓(xùn)。

本期專訪我們就來看看他在 SD 模型訓(xùn)練領(lǐng)域的寶貴經(jīng)驗(yàn)與獨(dú)到見解。

往期回顧：

1、忠忠老師，您的 BDicon 模型在 liblib 上備受矚目，能和我們分享一下您是如何踏入 SD 模型訓(xùn)練領(lǐng)域，并成功打造出這一熱門模型的嗎？

我是在23年3月正式開始接觸模型訓(xùn)練的，當(dāng)時(shí)是發(fā)現(xiàn)市場(chǎng)上已經(jīng)有效果很棒的 SD1.5 設(shè)計(jì)類模型了，深感這是一次巨大的生產(chǎn)力提升，我必須參與其中，于是開始研究學(xué)習(xí)。

主要的學(xué)習(xí)渠道是在B站自學(xué)，在此特別感謝以青龍圣者、獨(dú)立研究員星空等為代表的B站 UP 主的無私奉獻(xiàn)，通過他們的教程得以掌握了模型訓(xùn)練的基本方法，跑通了模型訓(xùn)練的完整流程。然后再結(jié)合許多 UI 設(shè)計(jì)師會(huì)有畫 BDicon 這類3D圖標(biāo)的需求但又不會(huì)3D軟件的現(xiàn)狀與痛點(diǎn)，選定了 BDicon 這種B端圖標(biāo)風(fēng)格的模型路線進(jìn)行實(shí)驗(yàn)，經(jīng)過了數(shù)十次的失敗后終于訓(xùn)練出了 BDicon 1.5 版本的 Ckpt 模型。

BDicon 上架后廣受 UI 設(shè)計(jì)師歡迎，靠自然流量沖上了哩布哩布首頁。后續(xù)隨著 SDXL 的開源也更新了對(duì)應(yīng)的 BDiconSDXL 版本，擁有更豐富的色彩元素的 BDiconProSDXL 版本等。

2、對(duì)于那些剛剛接觸 SD 的設(shè)計(jì)師新手，您能解釋一下為什么進(jìn)行 SD 模型訓(xùn)練（微調(diào)）如此重要嗎？

Stability AI 提供的基礎(chǔ)版 SD 模型雖然已經(jīng)很強(qiáng)大了，但是對(duì)于特定領(lǐng)域的需求還是無法滿足。因?yàn)榛A(chǔ)版 SD 模型還沒有學(xué)習(xí)過特定領(lǐng)域的數(shù)據(jù)集的特征，比如特定的國(guó)潮畫風(fēng)，IP形象等等，自然也無法生產(chǎn)特定領(lǐng)域的需求圖片。我們通過 SD 模型訓(xùn)練（微調(diào)），可以讓基礎(chǔ)版 SD 模型學(xué)會(huì)之前不認(rèn)識(shí)的特征，繼而延展這種特征為我們生成更多擁有這個(gè)特征的 AI 圖片。

例如之前基礎(chǔ)版 SD 模型無法直接生成 BDicon 這類B端三維圖標(biāo)風(fēng)格，但是經(jīng)過對(duì)對(duì)應(yīng)數(shù)據(jù)集的學(xué)習(xí)之后，即可生成各類B端三維圖標(biāo)。

3、您在 Stable Diffusion 方面有著深厚的研究，也樂于分享技術(shù)心得，那么，能否為我們揭秘一下 SD 模型訓(xùn)練的核心流程和關(guān)鍵點(diǎn)？

SD 模型訓(xùn)練的核心流程其實(shí)很簡(jiǎn)單，就是收集處理圖片數(shù)據(jù)集，然后打上對(duì)應(yīng)的文字標(biāo)注，然后使用訓(xùn)練腳本進(jìn)行訓(xùn)練產(chǎn)出微調(diào)版本的模型，經(jīng)過測(cè)試后效果達(dá)標(biāo)即可實(shí)際應(yīng)用了。

SD 模型訓(xùn)練的關(guān)鍵就在于訓(xùn)練集與標(biāo)注質(zhì)量，高質(zhì)量的訓(xùn)練集與標(biāo)注才能帶來高質(zhì)量的微調(diào)模型，畢竟巧婦也難為無米之炊啊哈哈。

4、在這個(gè)過程中，有哪些關(guān)鍵的技術(shù)細(xì)節(jié)或獨(dú)特的訓(xùn)練方法，使得您的模型能夠在眾多產(chǎn)品中脫穎而出？

在模型訓(xùn)練的過程中，訓(xùn)練集圖片的質(zhì)量是最能夠影響最終效果的因素，對(duì)于訓(xùn)練集的嚴(yán)格篩選與處理，貴精不貴多的選擇策略，能帶來更好的特定特征學(xué)習(xí)效果。總之堅(jiān)持一個(gè)原則，想要 SD 模型生成什么，那就給它學(xué)習(xí)最好的對(duì)應(yīng)數(shù)據(jù)集。

5、您之前從事的是 UI 設(shè)計(jì)工作，現(xiàn)在專注于 SD 模型訓(xùn)練。這兩種工作有哪些異同？又是什么原因促使您放棄穩(wěn)定的設(shè)計(jì)工作，選擇創(chuàng)立煉丹科技公司？能否分享一些您的創(chuàng)業(yè)感悟？

我之前的UI設(shè)計(jì)工作主要在負(fù)責(zé) Element Plus UI 框架庫的搭建與維護(hù)，與 SD 模型訓(xùn)練相同的都是給設(shè)計(jì)師提供基礎(chǔ)服務(wù)，以幫助設(shè)計(jì)師更高效地產(chǎn)出設(shè)計(jì)作品，邏輯與代碼能力上的優(yōu)勢(shì)都對(duì)這兩種工作有加成效果。

SD 模型訓(xùn)練會(huì)更多的將時(shí)間花在訓(xùn)練集的處理，模型的測(cè)試等模型訓(xùn)練流程上，與搭建組件庫畫界面的具體 UI 設(shè)計(jì)工作內(nèi)容有著明顯的差異。

之所以放棄穩(wěn)定的設(shè)計(jì)工作，選擇創(chuàng)立煉丹科技公司，主要是想探索更多人生的可能性吧。之前的工作雖然穩(wěn)定，但是也受限于公司的條條框框，無法真正的擁有探索的自由。自己創(chuàng)業(yè)之后收入雖然不穩(wěn)定，但是比起在職工作更能夠選擇做自己想做的事，學(xué)習(xí)自己想學(xué)習(xí)的技能與知識(shí)，就比如在煉丹路上一路狂奔的這一年。

因?yàn)樽约簞?chuàng)業(yè)認(rèn)識(shí)了更多有趣又很強(qiáng)的朋友，與在公司時(shí)的固定產(chǎn)品團(tuán)隊(duì)協(xié)作也有很明顯的不同。去各地舉辦煉丹大會(huì)等活動(dòng)和高效講課，也順路感受到了更多以前看不到的風(fēng)光與景色，有心心念念許久的西安大唐不夜城的燈火璀璨，也有南昌滕王閣旁清晨的江霧漫漫。

6、在商業(yè)應(yīng)用方面，SD 模型訓(xùn)練技術(shù)能發(fā)揮哪些實(shí)際作用？您有沒有具體的商業(yè)落地案例來給我們?cè)敿?xì)介紹一下？

SD 模型訓(xùn)練技術(shù)能很大幅度地提高特定工作環(huán)節(jié)的生產(chǎn)效率，以 BDicon 在B端設(shè)計(jì)領(lǐng)域的應(yīng)用為案例，一個(gè)使用三維建模方式需要4小時(shí)才能完成的圖標(biāo)，使用 Bdicon 文生圖生成的話僅需 0.4 小時(shí)，相當(dāng)于提效90%，更復(fù)雜一點(diǎn)需要線稿輔助的話，也可以在一小時(shí)內(nèi)完成，相當(dāng)于提效 75%，還是很可觀的。

7、站在行業(yè)前沿，您如何看待 SD 模型訓(xùn)練領(lǐng)域的發(fā)展現(xiàn)狀和未來趨勢(shì)？有沒有什么新的預(yù)測(cè)或期待與我們分享？

SD 模型訓(xùn)練領(lǐng)域現(xiàn)在仍然處于相對(duì)較為原始的野蠻生長(zhǎng)狀態(tài)，相信隨著領(lǐng)域內(nèi)各專家的深度探索與研究，整個(gè)領(lǐng)域的良性生態(tài)的建設(shè)與完善，SD 模型訓(xùn)練一定可以完成更多以前完成不了的工作，提升工作環(huán)節(jié)的生產(chǎn)效率。

最近 Stablity AI 也續(xù)命成功，獲得了頂級(jí)投資機(jī)構(gòu)的重大投資，大家也能繼續(xù)深挖這項(xiàng)開源模型技術(shù)的潛能，SD 模型訓(xùn)練肯定還會(huì)解鎖更多創(chuàng)意與生產(chǎn)力。