机器人世界模型最难的从来不是画质，是同一套动作换到另一个身体上还成不成立。 常见的做法是各练各的：人形、四足、机械臂的动作空间不一样，模型学到的往往是某一种… · @qingke_ai · TwKit

@qingke_ai

机器人世界模型最难的从来不是画质，是同一套动作换到另一个身体上还成不成立。 常见的做法是各练各的：人形、四足、机械臂的动作空间不一样，模型学到的往往是某一种身体的物理。Ropedia W0 想做的是统一，用相机位姿表达移动、投影骨架表达操作，把人和机器人放进同一套运动学表征里。 数据是 Xp-Data，1 万小时人类第一视角数据加 3 千小时机器人数据，统一多模态标注；另外提出 Xp-Teleop 这个长时程 benchmark，基于高质量人形遥操作数据。 结果：五个跨体现 benchmark（DreamDojo、Ψ0、ω-HOME、Xp-Teleop、AgiBot）加上留出的人类第一视角视频上都是 SOTA；蒸馏之后能实时跑分钟级 rollout，用于 VR 交互。 代价在数据结构和标注上。人类数据是机器人数据的三倍多，说明现在主要靠人类经验在灌；机器人骨架还要结合具体本体的正运动学加大量手工关键点标注和修正，换一个新本体就得重新对一遍。实时也得靠蒸馏换。 @liuziwei7 @Jerry_XU_Jiarui

曝光 250 · 评论 1 · 点赞 3 · 书签 2