📄 Can Learning to Answer Spatial Questions Improve Novel-View Generation? 概述：论… · @kafkaup · TwKit

@kafkaup

📄 Can Learning to Answer Spatial Questions Improve Novel-View Generation? 概述：论文提出 Ask4NV，通过联合训练三维语言理解与新视角生成任务，探究空间问答学习能否为新视角生成提供互补监督信号。 核心贡献：该工作在统一多模态模型中引入相机几何信息，并设计模态感知的联合自注意力机制，将三维语言理解特征用于新视角生成，从而增强生成结果的几何一致性与跨视角对应关系。 实验结果：作者称实验表明该方法在新视角生成中具有良好的图像质量与几何一致性，同时在三维语言理解任务上表现具有竞争力，联合训练还能提升 VAE 表征的跨视角对应关系，但摘要未给出具体量化指标。

曝光 70 · 评论 1 · 点赞 0 · 书签 0