未来我们可能只需要拍一张照片，就能把真实世界变成可以随意改造的 3D 场景！ 比如拍下自己的房间，让 AI 将照片生成可以自由切换视角的 3DGS 场景。接… · @BeyondTheBoxCN · TwKit

@BeyondTheBoxCN

未来我们可能只需要拍一张照片，就能把真实世界变成可以随意改造的 3D 场景！ 比如拍下自己的房间，让 AI 将照片生成可以自由切换视角的 3DGS 场景。接着直接告诉 AI：把沙发移走、补全地板，再换上一张床。 整个过程都可以围绕 3DGS 完成，无需先把场景转换成传统的 3D 网格模型。 这条技术路线又向前走了一步。 开发者 TheBurgstall 刚刚开源了 SpEdE（Splat Edit Engine），一个能直接编辑 3DGS 场景的 AI 工具。 看演示视频：桌面上的玩具推土机被直接删除，AI 自动重建了原来被遮挡的桌面，随后又在原位置生成了一个奶油蛋糕。它还可以从三维场景中提取独立物体，并导出成 3DGS 文件。 项目整合了 SAM 3.1、Qwen-Image 2.1、MoGe-3 和 TripoSplat，完成物体识别、删除、背景重建和替换。 我觉得最值得期待的是，把现有的照片或视频转 3DGS 技术，与 SpEdE 这样的编辑引擎组合起来。 我们就有机会实现一条自动化工作流： 拍摄现实场景 → AI 生成 3DGS → 用自然语言直接修改三维世界。 目前 SpEdE 已经实现了其中的编辑环节，但完整流程还需要集成，复杂场景和多视角一致性也有待完善。 想象一下，未来制作游戏场景、虚拟摄影棚，甚至重新设计自己的房间，可以直接从现实世界开始，交给 AI 修改。 开源项目地址见回复。 https://x.com/TheBurgstall/status/2115707260982919608/video/1

曝光 109 · 评论 1 · 点赞 2 · 书签 0