推文

@fireandstart · 2026-10-16 23:53

这条消息值得关注的，不只是 Nemotron 3.5 Bolt 又多了一个配套模型，而是推测解码的工程分工被讲得很清楚：小一些、专门用于起草的 LiLiCorr 尝试一次提出更长的 token 块，74B 目标模型再逐 token 验证。它不是让草稿模型直接决定答案，也不是简单地把大模型换成小模型，而是把“提出候选”和“保证输出符合目标模型分布”拆成两个协作环节。 这种设计真正要看的指标，应该不止是模型卡上的参数量。草稿被接受的比例、每轮能接受的连续 token 数、验证阶段的额外计算、显存占用，以及不同提示长度和任务上的端到端吞吐，都会决定实际收益。若草稿经常被拒绝，或者验证成本抵消了并行生成的好处，理论上的加速就未必能落到服务延迟上；反过来，在匹配得好的场景里，目标模型保持最终把关，同时减少逐 token 自回归等待，才是它吸引人的地方。 我也很想看到它与普通 speculative decoding 基线在同一硬件、同一批请求下的对照：不仅报峰值 tokens/s，也公开首 token 延迟、长输出尾延迟和不同 batch 下的吞吐变化。Hugging Face 上开放草稿权重与论文链接，至少让社区有机会独立复现、检查适用范围。开放模型系统的价值，最终要由可验证的工作负载结果说明；这份草案提供了一个具体起点。

曝光 36 · 评论 0 · 点赞 0 · 书签 0 · 曝光/时 15.533404413868316