Hi～

重新認(rèn)識一下，我叫AI釘三多！

關(guān)注釘釘設(shè)計的同學(xué)對這只雨燕應(yīng)該不陌生了，沒錯，它就是高度敏捷、充滿韌性、不服輸不放棄的釘三多！你可以在很多場合見到它的身影，比如釘釘發(fā)布會、釘釘品牌物料&視頻、甚至街道海報、商場大屏等等；釘三多是阿里巴巴動物園里面為數(shù)不多的以黑色為主要膚色的品牌IP角色，自面世以來以其鮮明的特征性與辨識度，深受圈內(nèi)外人的喜愛。AI時代，釘三多將以更好狀態(tài)、更豐富的形象，乘風(fēng)而來！

釘三多的原型是尖尾雨燕，是世界上飛行最快的鳥類之一，且有著最耐久的長途飛行能力，翼長腳小，被冠以“永不落地的無腳鳥”之名。

釘三多的名字靈感，來自于經(jīng)典影視劇《士兵突擊》的許三多一角，許三多的出身平凡、信念堅定、不懈努力，給觀眾留下深刻印象；釘釘早期的創(chuàng)業(yè)故事也正是如此，像這只“無腳鳥”一樣決絕而浪漫，也像許三多一樣勇敢且堅定地追求信念。

一、AI時代，任何形式的創(chuàng)作都成為了可能

AI時代，讓每個崗位上的同學(xué)都能成為藝術(shù)家。沒學(xué)過美術(shù)？總覺得自己創(chuàng)意平庸？視覺設(shè)計師收到的需求繁多，創(chuàng)作成本大，更改頻率高，自己的產(chǎn)出效率是不是越來越低了？運營同學(xué)天天有無數(shù)需要設(shè)計師幫助出圖的地方，設(shè)計師也忙，自己這么頻繁麻煩設(shè)計師是不是不太好？

AIGC徹底打破傳統(tǒng)創(chuàng)作的局限性，你可以無門檻無差別式創(chuàng)作，你的天馬行空，AI來買單。

二、我們?yōu)槭裁匆鲞@件事？

首先，先進(jìn)的AI能力，可以在畫面品質(zhì)上得到保證，相比于傳統(tǒng)繪畫和平面設(shè)計對藝術(shù)家&設(shè)計師基本功和能力素養(yǎng)的高要求，熟練駕馭AIGC能力可以讓你在任何時間任何條件下，生成容錯率較高的高品質(zhì)作品，并且充分借助橫向能力，可以靈活調(diào)整、局部修改，以最小的成本達(dá)到最高的畫面質(zhì)量，生成后可以供自己使用。

其次，創(chuàng)作成本也是要著重考究的方面，以Stable Diffusion、Midjourney為代表的工具化AI產(chǎn)品，以工程化的方式，進(jìn)行標(biāo)準(zhǔn)化的生產(chǎn)，可以在明確的條件下無限輸出，創(chuàng)作時間成本大大降低。

最后，多風(fēng)格多模型，也決定了創(chuàng)作者可以進(jìn)行多樣式的創(chuàng)作，總有一款風(fēng)格適合你，總有你能用到的模型，它總會給你意想不到的驚喜。

三、我們是怎么開始做這件事的？

先進(jìn)的AI能力，可以在畫面品質(zhì)上得到保證，相比于傳統(tǒng)繪畫和平面設(shè)計對藝術(shù)家或設(shè)計師的基本功及能力素養(yǎng)的高要求，熟練駕馭AIGC能力可以讓你在任何時間任何條件下，生成容錯率較高的高品質(zhì)作品，并且充分借助橫向能力，可以靈活調(diào)整、局部修改，以最小的成本達(dá)到最高的作品質(zhì)量，生成后可以供自己使用。

底層邏輯：我們使用線上部署版Stable Diffusion進(jìn)行模型訓(xùn)練，Lora模型依附于SD大模型使用，相比于SD大模型，Lora模型更適合進(jìn)行具象風(fēng)格化的定制，更迭、修改、調(diào)整的成本也會小很多。在開始前，我們明確了幾個原則：

品牌一致性：保證模型的穩(wěn)定性，高度統(tǒng)一生成的形象，能以最高的成功率生成符合釘釘IP規(guī)范的角色形象。

豐富拓展性：保證模型擁有較強(qiáng)的泛化能力，可以跳脫訓(xùn)練時投入的已有素材，高質(zhì)量泛化出不同的物品、形態(tài)。

充分迭代：AI在不斷的更迭，風(fēng)格化模型也同理，嘗試訓(xùn)練一遍就成功是不現(xiàn)實的，過程中充分回收成功案例，查漏訓(xùn)練參數(shù)問題，不斷改進(jìn)不斷優(yōu)化，讓釘三多永遠(yuǎn)都以最好最新的姿態(tài)見到大家。

明確項目原則以后，開始進(jìn)行訓(xùn)練的準(zhǔn)備工作。

1. 訓(xùn)練集素材準(zhǔn)備

訓(xùn)練集是整個項目中最重要的環(huán)節(jié)，直接決定了訓(xùn)練出模型的質(zhì)量如何，好的訓(xùn)練集一定是畫面風(fēng)格一致、元素風(fēng)格一致、形象與畫面的占比一致、關(guān)鍵詞描述清晰、明確。在訓(xùn)練集準(zhǔn)備工作階段，首先遇到一個大難題：已有的釘三多視覺素材中，單體3d素材充裕，姿勢多，表情多，但缺乏在3d場景中的運用，已有素材大多是裸身，缺乏身著衣物的素材。

這時候就要充分借助AI的能力，在原有基礎(chǔ)素材（無背景、無衣物）的基礎(chǔ)上，結(jié)合手繪線稿或素材抽離的線描，勾勒出想要的形體、衣物，借助ControlNet的條件控制能力，輸出可供我們投入訓(xùn)練集使用的新素材；場景可以單獨繪制，3d風(fēng)格的背景也可以搭配使用Midjourney，批量輸出多個精品3d場景，作為訓(xùn)練集單體輸入素材的一部分。模型訓(xùn)練其實不是0-1的過程，而是從0-1，1-2，2-3...所有生成、創(chuàng)作的優(yōu)秀素材都可以反哺進(jìn)訓(xùn)練集中，繼續(xù)訓(xùn)練，高品質(zhì)的素材可以幫助訓(xùn)練成的模型出圖效果更穩(wěn)定、更高品質(zhì)。

2. 訓(xùn)練集素材打標(biāo)

依次根據(jù)每張素材的畫面內(nèi)容，進(jìn)行批量化打標(biāo)，這一環(huán)節(jié)的作用是為了幫助AI更好的理解我們理想畫面中每個物品、視角、角色，分別是什么，這個環(huán)節(jié)的工作也直接決定了Lora后期的泛化水平。

多次反復(fù)打標(biāo)以后，我們沉淀了一套模版化的打標(biāo)框架：分別描述“誰，在哪兒，做什么”。

“誰”：頂層節(jié)點先明確好觸發(fā)詞，與固定形態(tài)有關(guān)的、且是畫面中比較核心的元素，都可以利用/(ip)/的格式進(jìn)行編輯；IP形象的特征也比較明確，黑色的皮膚、藍(lán)色的嘴巴、胸口有白色的閃電符號，都是構(gòu)成它的必需條件；搭配一些裝飾品、衣物等共同構(gòu)成“誰”和“角色形象”這個概念；

“在哪兒”：接下來可以描述畫面背景方面的內(nèi)容，例如在什么地方，這個地方有什么東西，室內(nèi)還是室外，什么季節(jié)，天氣如何等等，共同構(gòu)成“在哪兒”這個概念；

“做什么”：這里就是影響畫面豐富性的環(huán)節(jié)了，三多在畫面中，是什么姿態(tài)，是否有手持、腳踏等互動性物品，是以什么樣的心情，什么樣的站位，在做這件事情，搭配鏡頭描述，例如俯拍、正視、仰視等描述詞，共同構(gòu)成“做什么”這個概念。

最后，將這件事情循環(huán)幾十次，訓(xùn)練集工作完成，就可以投入煉丹爐靜候佳音！

3. 大功告成，開始進(jìn)行使用前測試

一個好的模型必須經(jīng)受“擬合度測試、泛化性測試、良品率測試”三重嚴(yán)苛考核，如果在測試環(huán)節(jié)出現(xiàn)過擬合、無泛化、成功率低等問題，那這個模型的可用性將會被大大降低。

擬合度測試

首先，將訓(xùn)練出的多輪多個safetensors集中起來，用尋常的畫面關(guān)鍵詞進(jìn)行分頭測試，來選取表現(xiàn)最穩(wěn)定、畫面最好的模型版本與權(quán)重，如下圖可見，safetensors-000006，在權(quán)重0.7-0.8時表現(xiàn)最佳，再多測試幾輪后依舊得到了這個結(jié)論，所以模型safetensors-000006，出圖權(quán)重0.8成為了我們最終采用的模型和權(quán)重參數(shù)。

泛化性測試

利用訓(xùn)練集畫面素材中沒有出現(xiàn)過的物品、場景、姿勢、形態(tài)，進(jìn)行無差別跑圖測試，觀察是否可以輸出結(jié)構(gòu)結(jié)實、正確無誤的對應(yīng)元素。這里我更迭了超過五個版本，之前的每個版本在泛化性測試中都表現(xiàn)得不盡人意，無法徹底跳脫訓(xùn)練集畫面而構(gòu)成全新的畫面。在多次調(diào)整訓(xùn)練集，反復(fù)回爐重造以后，泛化性得到了極大的改善，在一些特殊節(jié)日測試中，場景、衣物、與物品的互動等方面表現(xiàn)極佳。

良品率測試

顧名思義，是對直出圖的成功率測試，合格的Lora成功率應(yīng)該保障在70%或以上，這里我們進(jìn)行了同文不同畫的測試，觀察一批次能輸出多少張無缺陷無硬傷的合格畫面。經(jīng)過多次嘗試與回爐重造，最終良品率達(dá)到了82%，通過測試，可以進(jìn)行下一步部署與使用環(huán)節(jié)！

四、落地實踐：萬圣節(jié)-釘釘節(jié)日問候海報

釘釘于2024年9月正式開始了三多模型的落地使用，目前僅對釘釘內(nèi)部可用。在此展示一個設(shè)計案例：釘釘萬圣節(jié)-節(jié)日主題海報。

1. 準(zhǔn)備工作

首先進(jìn)行海報的畫面構(gòu)思：萬圣節(jié)是西方節(jié)日，深受年輕人喜愛，逢節(jié)必備的三件事：著裝扮鬼、出門游街、索要糖果。結(jié)合釘三多的角色屬性，立馬有了思路。

抽象一些畫面基本元素來體現(xiàn)萬圣節(jié)，必備的一些物品有：南瓜、糖果、異裝、城堡、鬼魂、夜晚...

2. 與釘釘?shù)慕Y(jié)合，體現(xiàn)釘釘品牌屬性

釘釘近一年充分擁抱AI，“魔法棒”的概念深入人心，于是將角色的“異裝”概念進(jìn)行一輪升級，賦予釘三多扮“魔法師”的形象，魔法師應(yīng)有的形象特點為魔法帽&斗篷、騎行的掃把、魔法棒...剛好與釘釘AI魔法棒概念相吻合；著裝主題色也決定采用藍(lán)紫漸變，來呼應(yīng)釘釘?shù)闹黝}色。

3. 結(jié)構(gòu)化撰寫Prompt

依照上面提到過的提示詞結(jié)構(gòu)，我們可以分模塊撰寫Prompt：

觸發(fā)詞：dingsanduo/(ip)/

誰：3d character, c4d, there is a white lightning bolt symbol on the chest, solo,
(3d動漫角色，c4d作品風(fēng)格，角色胸口有一個白色的閃電符號，單人)

在哪兒：on Halloween night, against the backdrop of a castle, there is a pumpkin lantern. The mouth of the pumpkin lantern is wide open, filled with candies, there are bats in the air.

(在萬圣節(jié)之夜，在城堡的背景下，有一盞南瓜燈籠。南瓜燈籠的嘴巴張開著，里面裝滿了糖果。地上有落葉和棒棒糖，夜空中可以看到有蝙蝠在飛)

做什么：On the ground, there are fallen leaves and lollipops. A figure is wearing a purple shiny scale cloak with a gradient of blue and purple. On the head is a purple magic hat. The person is brandishing a magic wand that sparkles with stars. Riding on a flying broomstick,

(三多穿著一件閃亮的鱗片斗篷，藍(lán)色和紫色漸變。頭上戴著一頂藍(lán)紫色的魔法帽，揮舞著一根閃閃發(fā)光的星星魔杖，騎在飛天掃帚上，飛翔)

4. 得到了我們想要的畫面

結(jié)合一些擴(kuò)圖、局部重繪能力進(jìn)行微調(diào)，搭配提前準(zhǔn)備好的海報文案，就完成啦！

五、部署&產(chǎn)品AI能力

目前釘三多FLUX.1-Lora模型已部署到釘釘內(nèi)部產(chǎn)品工具中，釘釘?shù)耐瑢W(xué)可以自由訪問并體驗三多模型生圖。近期各個職能的同學(xué)也是踴躍嘗試，各式各樣的三多正在瘋狂誕生中...

總結(jié)

看到AI，擁抱AI，駕馭AI，每個人都在登山的路上。

不同于體驗設(shè)計、服務(wù)設(shè)計，AIGC領(lǐng)域沒有絕對唯一的衡量標(biāo)準(zhǔn)，也沒有站在山頂上的人，每一個研究AIGC的人都是勇敢的攀登者，都在摸索上山的道路，路途中充滿了隨機(jī)與驚喜，沒有人知道這座山有多高，沒有人知道誰走在最前面，每個人都有自己專屬的上山路，哪怕這條路并不好走，哪怕這座山還在不停地“長高”。

在此釘釘設(shè)計中心感謝投身在這個領(lǐng)域的所有先行者，有了你們的勇敢探索、不畏試錯、無私分享，才有了當(dāng)下AIGC的蓬勃發(fā)展，百家爭鳴。

歡迎關(guān)注作者微信公眾號：「釘釘用戶體驗」