📄 Perceive, Predict, and Plan: a Unified World Action Model for Egocentric Dex… · @kafkaup · TwKit

@kafkaup

📄 Perceive, Predict, and Plan: a Unified World Action Model for Egocentric Dexterous Manipulation 概述：P3-WAM是一个统一的世界动作模型，通过共享的视频扩散变换器架构，联合实现以自我为中心灵巧操作中的三维手部与相机感知、动作条件视觉预测以及目标导向规划。 核心贡献：论文提出了一种混合变换器架构，将结构化的三维动作表示整合进预训练视频扩散变换器中，并通过共享权重、模态特定适配与双向视觉—动作注意力机制，统一支持感知、预测与规划三种模式（作者声称）。 实验结果：作者称统一训练在三种模式上均优于单模式训练，且在三维手部重建与动作条件视频预测上超过专门基线，同时生成的操作视频在指令遵循与动作推进方面优于视频生成基线，但摘要未给出具体数值，无法独立核实。

曝光 93 · 评论 1 · 点赞 0 · 书签 0