快来看,Google DeepMind 这次给世界模型装上了声带。 10 月 27 日,Google DeepMind 发布 Genie 4,官方说法是「最… · @berryxia · TwKit
@berryxia
快来看,Google DeepMind 这次给世界模型装上了声带。 10 月 27 日,Google DeepMind 发布 Genie 4,官方说法是「最真实、最可交互」的世界模型:一句 prompt 就能生成一个能实时走进去的 3D 世界,画面、环境音、人物对话是同一次生成出来的。 关键在「同时」。 Genie 4 原生多模态,音乐、环境噪声、可交互对话跟场景一起出,不用后期配音。 人也不再是会动的道具,你启动一个事件,它自己往下演:场景怎么回应、听起来什么声、里面的人怎么动、怎么反应、怎么说话。 具体能力上,Gemini 3.8 Flash 在循环里当导演:观察画面、把目标拆成步骤、逐帧验收,你中途插手它就现场改计划。 Gemini Omni 负责把世界锚定在真实的观感和行为上。 所以它能演多步因果,官方演示里是 Gemini 4 Argon 和 Genie 4 配合,模拟 Apptronik 的 Apollo 人形机器人下跳棋。 获取方式上:现在只是 trusted testers 的研究预览,随后会进 Google AI Ultra 的 Project Genie,以及 Gemini API 和 AI Studio 的 early access,waitlist 已开。生成内容全带 SynthID 水印。 短板官方写得挺老实:跑久了细节和物体恒常性会漂,反复改提示、长时间导航后更明显; 复杂物理、音频准确度、画面文字、空间精度都还在研究。 距 Genie 3 一年多,这次真正的信号不是画质,是它往 hybrid world model 走:Gemini 管结构和叙事,Genie 管像素级的物理现实。 做预演、游戏原型、机器人训练环境的,可以去排队了。
曝光 163 · 评论 2 · 点赞 2 · 书签 1
查看原帖