📄 Joints, Camera, Action! Co-Generating 3D Motion and Video for Arbitrary Rigs… · @kafkaup · TwKit

@kafkaup

📄 Joints, Camera, Action! Co-Generating 3D Motion and Video for Arbitrary Rigs 概述：本文提出一种模型，通过交叉注意力层将任意骨架的运动模型与预训练视频生成模型解耦连接，联合生成视频与可注册到场景相机的三维运动，训练数据约二十万对。 核心贡献：该方法最突出的贡献是将三维运动模型与预训练视频模型分离，通过一小组交叉注意力层连接，使运动模型可在易获取的纯运动数据上学习任意骨架的运动规律，无需成对视频数据。 实验结果：作者称其模型在文本驱动的多样骨架动画生成上比以视频为先的方法更忠实，运动能响应场景，并支持视频与骨架运动的双向转换及关键帧控制，但摘要中未给出具体数值结果。

曝光 98 · 评论 1 · 点赞 0 · 书签 0