Featured image of post 【Stable-Fast-3D】超高速開源圖片轉 3D 模型 僅需 0.5 秒即可生成高品質模型!|僅需一張圖即可生成 3D 模型

【Stable-Fast-3D】超高速開源圖片轉 3D 模型 僅需 0.5 秒即可生成高品質模型!|僅需一張圖即可生成 3D 模型

前段時間 Stability AI 開源了 Stable-Fast-3D,這款號稱僅需 0.5 秒就能將圖片轉換為 3D 模型的 AI,同時表示這款模型在模型品質、材質貼圖生成等方面亦表現優秀,今天就來為大家簡單介紹以及測試一下。

近期 Stability AI 推出了一款名為 Stable-Fast-3D 的圖片轉 3D 模型 AI 模型,只需單張圖片,就可以生成 3D 模型,且號稱僅需 0.5 秒就能生成品質優良的 3D 模型。今天就讓我們來跟大家介紹一下!

Stable-Fast-3D

Stability AI 官方文章:
https://stability.ai/news/introducing-stable-fast-3d

Stable-Fast-3D 介紹

根據 Stability AI 在 GitHub 上的介紹,Stable-Fast-3D 是目前最先進的開源圖片轉 3D 模型解決方案。它僅需要一張圖片作為輸入,即可快速生成高品質的 3D 模型。

Stable-Fast-3D 是基於 TripoSR 專案改良而來,並在多方面有所提升,包括更精確的 UV 展開、更精準的材質參數預測等,使得模型更加逼真,足以應用於遊戲場景中。

stable-fast-3d 模型生成 demo

Stable-Fast-3D 相較於其他的圖片轉 3D 模型有著以下優點:

  • 快速生成: Stable-Fast-3D 號稱能在 0.5 秒內生成 3D 模型,速度非常快。
  • 高品質輸出: Stable-Fast-3D 能夠生成高品質的 3D 模型,細節表現和材質貼圖都相當出色。
  • 降低光線影響: Stable-Fast-3D 能降低光照、陰影等環境光線對材質貼圖的影響,即使輸入圖片的光線條件不佳,也能輸出顏色較為正確的材質。
  • 開源且免費: Stable-Fast-3D 模型本身已經開源在 Hugging Face 上,並使用 Stability AI 社群授權釋出,年收入 100 萬美元以下的個人或企業皆可免費使用於商業或非商業用途。
  • 線上免費使用: Stability AI 提供了免費的 Hugging Face Space,讓使用者可以線上體驗 Stable-Fast-3D 的功能,無需配置環境。

Stable-Fast-3D 的應用

根據 Stability AI 官網所述 Stable-Fast-3D 可以應用在許多地方,例如:

  • 遊戲開發:快速創建遊戲場景中的物件或角色。
  • 電子商務:生成產品的 3D 模型,提升消費者購物體驗。
  • AR/VR 應用:快速創建虛擬場景或物件。

與其他模型的比較&測試資料集表現

根據 Stable-Fast-3D 的技術報告,該模型在於其他模型的比較中,生成表現算是優異,可以看到基本上在全部的生成模型中,Stable-Fast-3D 的表現皆為最好。

與其他模型的生成比較 更多的生成對比

在測試資料集的部分,Stability AI 測試了 GSO 和 OmniObject3D 兩個測試資料集,可以看到在 CD(Chamger Distance) 和不同的 FS(F-Score) 上,Stable-Fast-3D 皆獲得了最好的表現。僅在生成時間上以 0.5 秒略輸於 TripoSR 的 0.3 秒生成時間,但這個速度依舊是遠超其他測試的模型。

Stable-Fast-3D 實際測試

我使用了一些生活中的物品照片來測試 Stable-Fast-3D 的效能,以下是一些測試結果:

**測試物件:**杯子、拖鞋、椅子、捲尺、桌上小風扇、雕像、傢俱等

測試結果:

  • 對於形狀簡單、沒有遮擋的物件,Stable-Fast-3D 的表現相當不錯,生成的模型外觀完整,細節也清晰可見。
  • 對於有凹陷或遮擋的物件,Stable-Fast-3D 會傾向於將看不到的部分直接視為實心填滿,導致模型內部形狀有些奇怪
  • 使用 FLUX.1 生成的不帶凹陷或遮擋的正面照作為輸入,Stable-Fast-3D 的表現最佳,生成的模型外觀還算不錯。
  • Stable-Fast-3D 生成的模型面數偏高,動輒數萬面,對於遊戲開發來說可能需要適度減面。
  • Stable-Fast-3D 的 UV 拆分方式較為簡單粗暴,直接使用六個視圖,不利於後續的貼圖編輯

測試結果圖片:

圖片 1:杯子模型 圖片 2:拖鞋模型

圖片 3:椅子模型 圖片 4:捲尺模型 圖片 5:小風扇模型

圖片 6:FLUX.1克林圖片生成模型 圖片 7:FLUX.1皮卡丘圖片生成模型

模型丟 Blender 查看貼圖:

Stable-Fast-3D 的限制

根據測試結果,Stable-Fast-3D 目前仍有一些限制:

  • 無法準確處理物件的凹陷和遮擋部分。
  • 生成的模型面數過高。
  • UV 拆分方式過於簡單。

以上這些較大的缺點,使得 Stable-Fast-3D 能夠實際運用的場景應該較為受限。

杯子模型外表正常但內部被遮到的地方直接被當作實心 UV 拆得很粗暴,不利於編輯,且面數有點過高

總結

Stable-Fast-3D 是一款功能強大且易於使用的圖片轉 3D 模型 AI 模型。它在速度和易用性方面表現出色,生成的模型品質也相當不錯。雖然目前還存在一些限制,但對於一些簡單的 3D 建模需求,例如簡單的 WebAR 或遊戲場景中的非重要物件,Stable-Fast-3D 已經能夠勝任。相信隨著技術的進步,這類 AI 的功能和效能將會越來越強大。

影片介紹