Lucida：把真實室內掃描重建成可編輯、可重打光的物件化 3D 場景
ByteDance Seed、北京大學與浙江大學團隊提出 Lucida：透過 Parse、Generate、Place 三階段，把雜亂室內實拍轉成去重的場景圖、完整可編輯物件資產與對齊後的 3D 場景；GizmoAct 以 VLM 閉環操作 3D 編輯器修正物件姿態。官方專案頁展示互動場景與量化結果，但目前公開 GitHub 主要是專案網站，沒有可據此確認的模型／訓練程式碼開源授權，因此不宜直接稱為完整開源釋出。
3D Vision / Real-to-Sim / Editable Scene Assets
Lucida 的重點不是「掃描成一張 3D 圖」，而是把場景拆成可操作的完整物件
Lucida 將真實室內拍攝轉成由獨立、完整、可編輯 mesh 組成的場景。每個物件可重新排列、模擬或重打光，比只生成單一不可拆解的場景表示更適合機器人模擬、室內設計與數位孿生。
Parse
從多視角關鍵影格關聯物件實例，建立去重場景圖，包含遮罩、參考視角、局部點雲、3D box 與文字指示。
Generate
根據每個物件的 evidence bundle 合成無遮擋物件影像，再提升成完整、可編輯的 3D asset，處理實拍中的遮擋與缺失面。
Place
先粗略初始化位置與姿態，再由 GizmoAct 閉環觀察渲染結果、執行局部座標編輯，直到物件與原場景對齊。
GizmoAct：讓 VLM 操作 3D 編輯器
GizmoAct 的設計像一個有工具的視覺代理：每輪收到目標提示、相機證據、點雲覆蓋、輔助視角與局部軸正交視圖，然後發出一次可執行姿態修改，並判斷是否停止。官方頁面表示，同一策略可處理由 Boxer、Any6D-style 與 SAM 3D 產生的不同初始化，最多使用四個視角與 12 次 refinement。
官方展示能證明什麼
| 主張 | 官方頁面證據 | 解讀 |
|---|---|---|
| 處理遮擋 | 先整合多視角 evidence，再合成無遮擋物件視圖與完整 asset。 | 它不是直接從單張照片猜整間房，而是把局部證據逐物件整合。 |
| 物件與房間分割 | 先建立單一去重 inventory 與 oriented 3D boxes，再生成資產。 | 更接近場景圖與資產庫，而非不可拆的單一 mesh。 |
| 可重新設計／打光 | 每個物件保留成獨立 editable mesh，官方互動 demo 可查看場景。 | 理論上適合擺設調整、合成與模擬；不代表已有完整消費級室內設計產品。 |
| 量化改善 | 官方稱在 R2S、CA-1M、Aria Digital Twin 上改善 3D detection、pose 與 reconstruction。 | 這是研究團隊頁面的結果；正式採用仍需讀論文、資料集與重現設定。 |
可能應用
- 機器人 real-to-sim：把真實空間轉成可碰撞、可移動、可重排的模擬資產。
- 室內規劃：在物件級表示上改家具位置、材質與光照，但仍需 CAD 尺寸精度與工程驗證。
- 數位孿生：建立可更新的場景 inventory，比純 neural rendering 更便於後續操作。
- 合成資料：利用完整物件與可變姿態製造不同遮擋、視角和照明條件。
研究背景
作者群來自 ByteDance Seed、北京大學與浙江大學；Minghan Qin、Yuang Wang、Xiuyu Yang、Yushi Long、Yujian Zhang、Ruihuan Wang、Kai Ye、Yangang Zhang、Hang Li 共同署名。專案頁仍標示為 project page draft，表示資料與釋出狀態可能持續變動。