推文

@realfxw · 2026-10-13 22:11

如果 AI 生成视频的第一步不再是黑盒盲抽，而是先写一段代码？ 微软团队提出的 Code Video Model 提出了一个极其惊艳的视频生成控制范式：让代码成为视频生成的“可执行预演（Previs）引擎”。 传统的视频扩散模型本质上是个黑盒——物理规律靠参数“脑补”，运镜机位、空间布局与物体动力学只能听天由命，必须完整跑完去噪流程才能看到结果。而 Code Video Model 借鉴了电影工业的预演流程，将这一过程彻底拆解： 代码驱动的高精度 Previs模型接收 Prompt 后，会先编写一段可执行程序（如 Three.js），精确计算物理动力学公式、搭建 3D 场景并设定相机运镜轨迹。渲染这段代理视频（Proxy Video）不到 1 分钟，让创作者能以极低成本进行秒级预览和精确到代码行的参数级微调。 Early-Step Conditioning（早期步条件注入）现有视频模型往往会直接把代理视频里粗糙、扁平的 3D 渲染质感带入成片。团队提出了免训练（Training-free）的调度机制：仅在扩散采样的前序步骤引入代理视频来锚定空间几何与运动结构；一旦构图确立，后续采样步便脱离代理约束，专注继承参考图的高清质感与材质细节，完美兼顾了精准控制与影视级画质。 全方位的控制能力团队构建了 CodeVideoBench，涵盖游戏视角切换、矩阵子弹时间（Bullet Time）、场景级物件编辑、机器人运动轨迹以及物理碰撞等复杂任务。评测表现显著超越 VACE 等基线模型。 让代码负责几何、物理与运镜，让扩散模型负责材质、光影与渲染——这种精准解耦与工业化落地的思路，或许正是通向真正可控物理世界模型的重要一步。 项目链接：https://code-video-model.github.io/ #AI视频 #CodeVideoModel #计算机视觉 #AIGC #技术前沿

曝光 317 · 评论 0 · 点赞 3 · 书签 2 · 曝光/时 138.34204595370088