斯坦福 Hazy Research 提出“下一概念预测”（NCM）新架构，抛弃逐字蹦词，让大模型像人类写大纲一样“从粗到细”并行生成文本，推理速度最高提升 … · @mylifcc · TwKit

@mylifcc

斯坦福 Hazy Research 提出“下一概念预测”（NCM）新架构，抛弃逐字蹦词，让大模型像人类写大纲一样“从粗到细”并行生成文本，推理速度最高提升 31 倍 斯坦福大学 Christopher Ré 教授带领的 Hazy Research 实验室（也是 FlashAttention 和 Mamba 背后的核心团队之一），刚刚发布了一项名为 Next-Concept Modeling（NCM，下一概念建模） 的新研究。他们试图解决当前大语言模型最底层的一个效率瓶颈：为什么 AI 写东西非要一个字一个字往外蹦？ 现在的语言模型基本分两大派系。主流的自回归模型（比如 GPT 系列）是“接龙派”，每次只能顺序生成 1 个 Token，写长文时不仅慢，而且一旦前面说错话，后面只能将错就错；另一派是离散扩散模型（Diffusion Language Models），虽然能并行修改整段话，但每一步都要对完整长度的序列做几十上百次全量计算，训练和推理成本依然很高。 Hazy Research 换了一个更符合人类直觉的思路：先搭骨架，再填血肉。 NCM 借鉴了图像生成里“从低分辨率草图到高清大图”（VAR）的机制，把这套逻辑搬到了文字生成上。模型在动笔时，不再从第一个词开始往后排，而是把一段话拆解成大约 11 个从粗到细的层级（Levels），每一层里的所有编码全部一次性并行生成。 【它是怎么分两步跑通的】 第一步是训练多尺度分词器（Multiscale Tokenizer）。研究团队没有用传统的词表，而是训练了一个能把文本压缩成“多层级离散编码”的分词器。最顶层只有寥寥几个编码，用来抓住整段话的宏观意图和骨架；越往下层级越长，逐步补充语法结构和具体的词汇细节。为了防止模型偷懒只靠最后几层还原文字，团队专门加了嵌套丢弃（Nested Dropout）机制，逼着前几层必须塞进真正的核心语义。 第二步是层级并行生成。分词器固定后，交给一个 Transformer 去学习“看上一层的粗略草图，并行预测下一层的全部细节”。在推理阶段，模型只需要走完这十来个层级就能直接解码出完整文本。而且因为前几个层级的序列非常短，前期的计算开销几乎可以忽略不计。 在他们展示的德译英实测过程里，可以看到一段很有意思的生成轨迹：模型在第 1 到 4 层出来的还是散装的核心意图词，到第 8 层时，已经拼出了“However, there is that concern... medium-sized enterprises will remain vulnerable to hacking and surveillance”（BLEU 51.7），最后两三层直接把语病和冠词一次性修补整齐。 【实测数据：更快、更省、更擅长全局规划】 在单张 NVIDIA H100 GPU 的真实挂钟时间（Wall-clock time）测试中，NCM 的效率优势非常明显： 生成速度暴涨 10 到 31 倍：在 OpenWebText 和 LM1B 无条件文本生成上，NCM 达到同等或更好生成质量的速度比最强扩散模型基线快 10 倍到 21 倍；在 XSum 摘要任务上，ROUGE-L 指标打平最强基线的同时，实际生成速度直接快了 31 倍。 训练数据量省了 4 到 5 倍：哪怕把训练分词器和生成器的开销全算进去，NCM 在 OpenWebText 和 LM1B 上只需要扩散模型 1/5 到 1/4 的训练 Token 数量就能收敛到同等水平。 高难度数独破解率飙升到 86.1%：先定全局结构再填细节的机制，天然适合需要通盘考虑的推理任务。在 Hard 难度（30 个提示数）的数独测试里，传统自回归模型基本全军覆没，完整解出率只有 1.0%；主流扩散模型 MDLM 和 DUO 分别是 30.2% 和 58.4%，而 NCM 在计算步数更少的情况下拿到了 86.1% 的解出率。 团队在博客最后提到，目前他们在 97M、317M 到 725M 参数规模上验证了清晰的 Scaling Law（规模越大效果越好），而且由于单次采样极快，在测试阶段用同样的时间预算可以并行抽样更多候选结果，配合 MBR 解码能进一步拉高翻译和摘要质量。接下来他们计划探索更大参数规模的扩展，以及让模型根据问题难度自动决定“画到第几层就停笔”。

曝光 403 · 评论 2 · 点赞 6 · 书签 5