大家好，這里是和你們一起探索 AI 的花生~

之前為大家系統(tǒng)推薦了 5 款 3D 模型生成神器，以及 Stability AI 推出的 3D 模型 Stable Zero123，他們都可以根據(jù)文本或圖像生成較完整的 3D 模型。最近 Stability AI 又推出了一款新的開源 3D 生成模型 TripoSR，它不僅在生成速度上遠超之前推薦的模型，而且質(zhì)量上也有了極大的提升，今天為大家介紹一下它的用法。

相關(guān)推薦：

一、TripoSR 簡介

Github 項目主頁： https://github.com/VAST-AI-Research/TripoSR

TripoSR 試用 Demo： https://huggingface.co/spaces/stabilityai/TripoSR

TripoSR 由 Stability AI 和 Tripo AI 合作開發(fā)，可在 1 秒鐘內(nèi)根據(jù)單張圖像生成高質(zhì)量的 3D 模型，并且對算力的需求很低，甚至不需要 GPU 就能生成，因此普通用戶也可以輕松在本地設(shè)備上使用它 。目前模型已開源，允許商業(yè)化使用。

TripoSR 目前已經(jīng)有線上試用 Demo 了，大家可以上傳自己的圖像體驗一下它的生成速度，真的是 1 秒完成，而在此之前 3D 模型生成一般都要 5-10 分鐘，相比之下 TripoSR 的提升無疑是巨大的。除了速度，TripoSR 生成的質(zhì)量也比之前的模型好很多，即使是人物或者建筑這樣復(fù)雜的對象也可以準確生成其完整的背面內(nèi)容。模型生成后支持導(dǎo)出為 .obj 和 .glb 文件，然后在 C4D/Blender 等軟件中進一步編輯，這可以有效提升的 3D 內(nèi)容創(chuàng)作效率。

二、在 Comfyui 中使用 TripoSR

TripoSR 模型開源后，ComfyUI 生態(tài)就很就對其進行了支持，我們可以安裝 ComfyUI-Flowty-TripoSR 插件實現(xiàn)本地運行，另外還可以加入其他 AI 技術(shù)，實現(xiàn)通過文本快速生成 3D 模型。

① 安裝插件

Github 主頁： https://github.com/flowtyone/ComfyUI-Flowty-TripoSR.git

將 ComfyUI 更新到最新版本，然后安裝 ComfyUI-Flowty-TripoSR 插件?？梢杂眠^ manager 安裝，也可以進入根目錄的 custom_nodes 文件夾中，通過 git clone 命令安裝；安裝成功后，進入 ComfyUI-layerdiffuse 根目錄，打開終端命令，運行 pip install -r requirements.txt 命令，安裝 python 依賴項。

② 安裝模型

TripoSR 模型地址： https://huggingface.co/stabilityai/TripoSR/blob/main/model.ckpt （文末有資源包）

下載 model.ckpt，安裝到根目錄的 ComfyUI/models/checkpoints 文件夾中，如果是和 SD WebUI 共用的資源則放到 WebUI 的根目錄中，然后刷新或者重啟 ComfyUI（模型下載后可以修改名稱為 TripoSR，方便后期識別 ）。

③ 導(dǎo)入基礎(chǔ)工作流

進入 ComfyUI 界面后，可以從 ComfyUI-Flowty-TripoSR 根目錄中導(dǎo)入插件作者提供的 json 工作流文件，推薦使用帶背景去除的 workflow_rembg，它的生成效果會更好。

基礎(chǔ)工作流的使用非常簡單，只要先選好 TripoSR.ckpt 大模型， 然后上傳本地圖像（注意：圖像中主體不要占得太滿，最好與四周保留一定的距離，否則會影響出圖效果），再點擊生成，幾秒鐘就能得到一個完整的模型了。

相關(guān)推薦：

三、與 Lightning 和 LayerDiffusion 合用

最近 AI 繪畫領(lǐng)域出現(xiàn)了不少新的技術(shù)，比如可以在 1-8 步內(nèi)完成圖像推理的 SDXL Lightning 模型，以及可以通過文本生成透明底圖像的 LayerDiffusion 插件，我嘗試將他們與 TripoSR 結(jié)合，最終實現(xiàn)了直接通過文本生成 3D 模型的效果，下面是具體工作流（文末有資源包）：

使用時工作流需要注意的方面有：

1. 因為使用了 SDXL Lightning 4-step Lora，所以大模型也需要是對應(yīng)的 XL 大模型，Ksamper 參數(shù)設(shè)置也會不同：生成步數(shù)為 4；CFG 參數(shù)為 1，scheduler 為 sgm_uniform。有了它 4 步就得到一張高質(zhì)量的圖像，速度比直接使用 XL 大模型快 8-10 倍。
2. 接入了 LayerDiffusion 節(jié)點，可以直接通過文本生成透明底圖像，選擇不同的 XL 大模型就可以生成不同風(fēng)格的圖像，這樣就無需自己上傳了，整體更方便。
3. 目前 ComfyUI-Flowty-TripoSR 插件還沒有導(dǎo)出 3D 文件的功能，不過后續(xù)應(yīng)該會加上。如果你想現(xiàn)在就將 ComfyUI 中生成的 3D 模型導(dǎo)出，可以使用 @Zho 大神的分支 ComfyUI-Flowty-TripoSR-Zho，使用方法依舊是先通過 git clone 安裝插件，然后運行 pip install -r requirements.txt 命令。

目前已經(jīng)在網(wǎng)上看到一些將 TripoSR 應(yīng)用到實際項目中的做法，效果都非常不錯，網(wǎng)友 @Doron Adler 則展示了一個非常生動的例子。他先用 Midjourney 生成了一個人物，然后用 TripoSR 進行 3D 化，再導(dǎo)入 MeshLab 編輯并用 Mixamo 創(chuàng)建動畫，最后使用 Reality Converter 將 3D 人物投射到了現(xiàn)實中。整個過程看起來好像很復(fù)雜，但從想法到現(xiàn)實其實只用了幾分鐘，因為 AI 完成了大部分的工作。這樣的實現(xiàn)速度是傳統(tǒng)設(shè)計軟件很難達到的，未來 AI 技術(shù)對 AR 和 VR 的影響肯定會更令人期待。

好啦以上就是本期為大家推薦的 AI 3D 模型生成神器 TripoSR 的相關(guān)內(nèi)容，喜歡的話記得點贊收藏支持一波，之后會繼續(xù)為大家?guī)砀鄬嵱玫?AI 干貨知識。想了解更多 AI 內(nèi)容的話，歡迎關(guān)注 優(yōu)設(shè) AI 自學(xué)網(wǎng)；另外也可以關(guān)注「優(yōu)設(shè) AIGC」的 微信 視頻號，小瓜老師每天都會分享最新的 AIGC 資訊和神器，讓你輕松掌握最新的 AI 發(fā)展動態(tài) ~

如果有關(guān)于文章的問題，歡迎在評論區(qū)留言，或者掃描下方的二維碼加入“優(yōu)設(shè) AI 知識交流群”，和我及其他 設(shè)計師 一起交流學(xué)習(xí)~

推薦閱讀：