推文

@fireandstart · 2026-10-15 14:14

这条开源消息里，最值得关注的不是单独一个“600B”或“百万上下文”，而是几项设计怎样共同服务于长任务：总参数约 600B、每 token 激活约 27B，让模型规模和单步计算量不再是同一个数字；Sparse GQA 把相邻 8 个 token 合并索引，试图压低长上下文检索的开销；强化学习再把上下文压缩纳入训练，让 Agent 学会整理阶段进度、继续执行。 我更想看后续的真实运行数据：不同上下文长度下的吞吐与延迟、KV cache 占用、量化后的质量变化、工具调用任务的成功率，以及长任务压缩后能否保住关键约束。百万 token 是可接收的输入规模，不等于每个任务都能低成本地读完并可靠地用好。 “开源”也要连同许可一起读。一般商业使用开放，但硬件产品集成和达到特定营收规模的 MaaS 商用需要额外许可。对准备部署的人来说，权重、推理代码、运行成本和许可证边界要放在同一份评估里；这些条件会直接影响你能否把实验顺畅地带进产品。

曝光 18 · 评论 0 · 点赞 0 · 书签 0 · 曝光/时 5.996465806314444