推文

@qingke_ai · 2026-10-17 00:35

在陌生房间里向左转身，门从正前方跑到了右边。你知道门没动，动的是自己的朝向。换成视觉语言模型，它认得出每一帧里的门，却未必算得准这次转身。 再走几步，它还得把一路上的变化串起来，才能说出自己最后在哪。看懂每一帧和看懂一个连续变化的世界，中间隔着的就是这件事。 浙大 OmniAI 团队和 SAP 新加坡做了 Spatial-Interactor，思路是从交互轨迹里学空间：先分清是世界变了还是视角变了，再把这些局部变化整合成一条完整路径。 课程分三层： 第一层看外部世界怎么变，东西被挪走、柜门被打开、机械臂把积木换了个位置，模型根据前后画面推断动作和结果。 第二层看自己的运动怎么改变视角，靠不同视角里共同的物体反推观察者走了、转了还是没动。 第三层才是整条轨迹，路径、转弯、起终点位移、有没有回到走过的地方。 他们举的例子挺说明问题："先前进再左转"和"先左转再前进"，动作一样，落点不同。 数据是自动造的，约 10.8 万条可核验问答，叫 LSI-108K。能低成本是因为交互记录本身就带着答案：物体移了多远、相机转到哪，都能从动作和几何信息里推出来，再套模板生成问题。同一条轨迹还能按时间尺度切出不同的题。 训练分两段。先 SFT 学局部变化，长程的第三层交给 OPD。教师那一侧的设计挺讲究：它和学生共用一套参数，只是额外看到按时间排好的分段运动描述，所以教师靠的是过程信息，不是更大的模型。 而且它是在学生自己已经推到的位置上接着指导，不另写一份标准答案让学生抄。部署时还是学生自己答，不需要教师，也不需要那些描述。 挑几个数字：7B 模型在 VSTI-Bench 上从 39.0 到 49.5，多视图的 SPBench-MV 从 34.0 到 67.6，SAT-Real 从 54.7 到 74.0；MindCube 上 8B 从 29.4 到 88.4。接到交互任务里，WalkerBench Standard100 的成功率从 7.0% 到 14.0%，走的步数从 17.71 降到 6.52。 #空间智能 #VLM #具身智能 #OPD https://qingkeai.online/blog/Spatial-Interactor?utm_source=twitter

曝光 156 · 评论 1 · 点赞 0 · 书签 0 · 曝光/时 80.81659112400942