推文

@kafkaup · 2026-10-17 00:43

📄 Denoising Hierarchical Representations: Joint Continuous Diffusion for Language Modeling 概述：本文提出层次化连续扩散语言模型（H-CDLM），通过并行扩散词元及其聚类得到的粗粒度语义表示，以极小的计算与参数开销提升连续扩散与流匹配语言模型的性能。 核心贡献：提出了一个通用的层次化联合扩散框架，可同时对词元级和聚类级（粗粒度语义）表示进行扩散，并设计了逐模态采样器与噪声调度以增强不同粒度间的交互，该框架在 CoBit 和流匹配模型 FLM 上均表现出可泛化性。 实验结果：据作者报告，H-CoBit 在数据集熵处的生成困惑度（GenPPL）在 LM1B 和 OWT 上分别为 49.4 和 50.4，相比基线分别提升 24.2 和 20.7 个点，并在 GSM8K 上达到 27.4% 的准确率，优于同等规模的离散扩散模型及此前的连续扩散与流模型；该框架应用于 FLM 得到的 H-FLM 也取得了一致的性能提升。

曝光 53 · 评论 1 · 点赞 0 · 书签 0