推文

@sleepy0x13 · 2026-10-15 12:09

斯坦福 Hazy Research 发布了一篇论文，提出了一种新的文本生成范式 NCM（Next-Concept Modeling），我觉得挺有意思的。 目前 GPT、Claude 这类自回归模型，基本都是从左到右逐个生成 token。扩散语言模型虽然能够并行生成，但需要反复修改整段文本，计算开销依然很大。 NCM 的思路更接近我们组织一篇文章的过程，先确定大致内容，再逐步完善细节。 当然，这只是一个类比。技术上，研究人员把文本编码成从粗到细的多层离散表示。模型先生成高层表示，再一层层细化，而且每一层内部可以并行生成，大幅减少了生成所需的步骤。 在 XSum 摘要任务上，NCM 以相当的质量实现了 31 倍的生成速度；在 LM1B 和 OpenWebText 上分别快了 21 倍和 10 倍，训练所需的 token 也显著减少。 更有意思的是数独测试。NCM 在不同难度下都超过了自回归和扩散基线模型，同时需要更少的生成步骤。 我觉得数独这个结果甚至比 31 倍提速更值得关注。因为它暗示了一种可能，当模型可以先建立全局结构，再解决局部细节时，某些需要同时满足大量约束的任务，反而更容易处理。 当然，目前这些结果主要来自几亿参数规模的研究模型，31 倍也是相对于扩散模型的比较，距离证明它能取代 GPT、Claude 还有很长的路。 但这项研究让我意识到，我们可能太习惯把语言模型理解成一个不断预测下一个 token 的机器了。 过去几年，大家想尽办法加快这个过程，从推测解码、KV Cache 到各种推理优化。 现在开始有人尝试重新设计整个文本生成过程。 我觉得这条路线值得持续关注。毕竟，未来模型推理成本能降低多少，可能很大程度上取决于我们是否还需要坚持今天这套生成方式。

曝光 633 · 评论 2 · 点赞 3 · 书签 1 · 曝光/时 173.43696512440738