TRELLIS.2:O-Voxel 讓 Image-to-3D 更接近可用的 3D 資產工作流
微軟 TRELLIS.2 是 4B 參數 image-to-3D 模型,核心是 O-Voxel:同時承載幾何與 PBR 材質,改善複雜拓撲與可接工作流問題。貼文的「3 秒生成」需加上 H100、512³ 等條件;本地部署也需要 Linux 與至少 24GB NVIDIA GPU。
單張圖片輸入,輸出帶 PBR 材質的 3D mesh;官方定位為 4B 參數的 image-to-3D foundation model。
O-Voxel 是 field-free sparse voxel representation,可同時編碼 geometry 與 appearance,並處理 open surfaces、non-manifold geometry、內部封閉結構。
Microsoft README 標示 H100 上 512³ 約 3 秒、1024³ 約 17 秒、1536³ 約 60 秒;這些數字不應直接外推到一般消費級 GPU。
官方需求是 Linux、CUDA、Python 3.8+、NVIDIA GPU 至少 24GB VRAM;模型開源不代表一般筆電即可順跑。
| 項目 | 官方說法 / 可驗證資訊 | 實務解讀 |
|---|---|---|
| 模型 | TRELLIS.2-4B,Flow-Matching Transformers with Sparse Voxel based 3D VAE | 不是小模型;適合有 GPU 資源的 3D / 遊戲 / 影像工作流評估。 |
| 表示法 | O-Voxel:同時編碼幾何與外觀,可處理 open、non-manifold、enclosed surfaces | 改善過去 image-to-3D 常見的「融化感」、破面與拓撲脆弱問題,但不是零瑕疵。 |
| 材質 | Base Color、Roughness、Metallic、Opacity 等 PBR attributes | 輸出更容易接 3D engine / DCC tool,而不只是可旋轉的 demo mesh。 |
| 速度 | H100:512³ 約 3 秒、1024³ 約 17 秒、1536³ 約 60 秒 | 可作為工作流效率指標,但採購/部署前要用自己的 GPU 與素材集測試。 |
| 授權 | GitHub 與 Hugging Face model card 標示 MIT license | 比封閉 SaaS 更適合內部實驗與二次整合,但仍要檢查資料、素材與商用政策。 |
它比較像「資產草稿機 / blockout generator」,能快速產生可進一步修整的 base mesh 與材質方向,讓建模師把時間移到 topology cleanup、art direction、材質精修與 engine integration。