推文

@kafkaup · 2026-10-11 19:13

📄 WorldSonus: Bringing Sound to Worlds 概述：WorldSonus 是一个交互式视频转音频框架，采用流式因果自回归扩散架构，为世界模型生成的无声视频实时合成可交互控制、空间对齐的立体声音频。 核心贡献：提出流式因果自回归扩散架构，实现低实时因子（RTF 0.41）的实时音频合成，兼顾交互控制与立体声空间对齐。 实验结果：作者报告称该方法实时因子达到 0.41，且在开放域视频转音频基准测试中，其声学质量与空间对齐效果可匹敌甚至超越现有最优的双向模型，但摘要未给出具体数值与基准细节。

曝光 156 · 评论 1 · 点赞 0 · 书签 0 · 曝光/时 14.612070359685488