现在的大模型动辄支持一百万token的上下文，能塞下一整本《战争与和平》，但英伟达的研究团队却发论文直接说，你根本不需要长上下文。 因为模型生成的token… · @MrPingChecks · TwKit

@MrPingChecks

现在的大模型动辄支持一百万token的上下文，能塞下一整本《战争与和平》，但英伟达的研究团队却发论文直接说，你根本不需要长上下文。 因为模型生成的token越靠后，成本就越贵。在前沿开源权重模型上，256K上下文生成每个token的成本比16K贵出3.6倍到7倍，生成延迟还会翻倍。 既然长上下文又慢又烧钱，为什么大家还在拼命把上下文窗口往大了卷？ 过去业界普遍认为，多步连续操作的复杂任务和超长文档阅读任务，离不开长上下文。但英伟达用Claude Opus 4.5和GPT 5.6 Sol实测了13个基准测试，把这两个假设全推翻了。 对于多步任务，只要在对话快满时让模型做一次总结压缩，然后清空历史重开对话，把上下文压在16K到48K之间，准确率几乎不掉，甚至最高还能涨5.6个百分点，同时省下2.2倍到8.8倍的成本。 对于超长文档，根本不用一次性全塞进模型。把文档存在文件系统里，让模型用sed、awk、head这类基础命令行工具按需读取，配合总结压缩，不仅准确率最高能暴涨40个百分点，成本更是能省下4.4倍到233.3倍。 研究人员甚至试了一种更极端的玩法，让模型每执行一步操作就强制压缩一次状态，把上下文彻底丢掉，下一步全靠浓缩的语义状态接着干。 结果在这种每步都清空记忆的极限操作下，模型的峰值上下文中位数只有7K到9K，最高也从200K降到了15K到37K，而Claude Opus 4.5修代码和跑终端的准确率居然还保持住了，甚至在Terminal-Bench上还提升了4.6个百分点。 不过研究人员也坦言，这项发现并不排除某些特定任务依然能从长上下文中获益，也没有证明世上所有任务都能只靠短上下文解决。 但现有实验已经足够说明，靠堆砌长输入和长对话历史来证明长上下文不可或缺的传统理由根本站不住脚，只要调整未来的后训练方式，大模型的上下文窗口完全可以大幅缩水。

曝光 170 · 评论 1 · 点赞 1 · 书签 0