Mirror这个研究挺有趣！用一个视频模型做规划器（Cosmos3-Nano 微调），去指导一个视频到动作的模型，让动作模型V2A，做self-play。因… · @alacheng · TwKit

@alacheng

Mirror这个研究挺有趣！用一个视频模型做规划器（Cosmos3-Nano 微调），去指导一个视频到动作的模型，让动作模型V2A，做self-play。因为有视频模型做规划器，根据v2a执行后的反馈状态在做重新规划这个指导过程，v2a模型相当于完成了self-play的训练，不使用奖励信号或专家动作标注。v2a模型这种方式很像几个月前的ECHO那篇论文（预测环境，通过基于真实环境来训练模型，环境反馈相对于预测就是标注）

曝光 344 · 评论 0 · 点赞 5 · 书签 5