最近大模型圈最火的两个方向，一个是让大模型操控浏览器、操作系统与软件的 Computer-Use 智能体，另一个则是具身机器人。 但大家日常做系统开发时总会… · @snwiki238337 · TwKit

@snwiki238337

最近大模型圈最火的两个方向，一个是让大模型操控浏览器、操作系统与软件的 Computer-Use 智能体，另一个则是具身机器人。 但大家日常做系统开发时总会产生一种割裂感，做软件 Agent 的人在死磕 Prompt 链、ReAct 循环和 Tool Call。 做具身机器人的人在轨迹生成、扩散策略和动力学控制。两拨人似乎都在做多模态智能体，用的甚至都是类似的多模态基座，各自用着完全不同的术语。 这篇长篇综述 Multimodal Embodied Agents: A Unified Capability-centric Perspective from Computer-Use to Robot-Use 提出了一个问题：当一个多模态智能体从操作电脑真正走向操纵实体机器人，他的技术底层是否与变化和适配。 为了打破软硬件领域的术语壁垒，作者抛弃了按具体网络架构划分的传统分类法，提炼出了一套贯穿数字与物理世界的五联能力框架 PAPAV Perceive 情景感知，从非结构化多模态信号中沉淀出任务信念。在电脑端是解析 DOM 树、截图标注与 OCR。 在机器人端则是将多视角视觉、本体感知、触觉与力反馈融合成具备 3D 空间关系的语义状态。 Anticipate预判，在真正交付动作之前，利用世界模型推演候选动作可能带来的环境变化与潜在后果。这是反事实推理的核心。 任务规划，在外部物理与时间硬约束下，将复杂高层目标自顶向下拆解为具备可行性的子目标序列，完成从意图到执行方案的路径选择。 具身执行，将语义落地为环境可执行的接口。在电脑端是点击、按键与 API 调用，在物理端则是转化为技能原语、末端轨迹以及高频电机力矩。 结果验证，在动作执行完毕后，根据多模态观测做出明确的裁决并将反馈注入下一轮决策。 这套框架点出了智能体一旦跨入真实物理世界后，需要面对的几个点： 第一个就是实体交互充满遮挡与盲区，刚度、摩擦与重心等关键动力学属性根本无法通过一张图片看清。 第二个流体、软体形变和微观接触物理极其复杂，Sim-to-Real 的现实差距太大。 第三个就是在物理世界打碎了花瓶、摔落了夹爪，物理损伤无法回滚且往往伴随安全隐患。 第四个是延迟问题，物理世界不等人，重力与惯性持续生效，推理延迟多拖几百毫秒，机械臂抓取的物体就会直接滑落。 最后一个就是检验标准，软件交互有标准的 HTTP 状态码和断言接口，但是物理世界中我们不可能用一个简单的 bool 去判断和检验。 基于这套标准作者深入盘点了现存的 64 个主流基准评测，结果发现目前学界和业界的评测几乎 90% 以上都重度倾斜在执行和端到端任务成功率上。 整整 64 个基准中，专门评测 预判能力的只有 5 个，专门评测 结果自检验证的仅有 3 个。 这就导致目前的评测一个具身智能体任务失败了，你根本不知道它到底是因为感知没看清、动作没执行好，还是压根缺乏对危险碰撞的提前预判，抑或是做错了之后完全没有能力自检。 arxiv：https://arxiv.org/abs/2610.30108

曝光 167 · 评论 1 · 点赞 4 · 书签 3