结论先摆这儿：内存省错了地方。 Mistral 11 月 4 日发了 Large 4 的技术报告：为了省内存，先把 KV 缓存砍了 16 倍——就是模型记上… · @chenYijl · TwKit

@chenYijl

结论先摆这儿：内存省错了地方。 Mistral 11 月 4 日发了 Large 4 的技术报告：为了省内存，先把 KV 缓存砍了 16 倍——就是模型记上下文的那块地方。 语言考试的分数看着一点没掉，报告自己都承认，省完之后，长任务直接翻了。 一到要翻很久以前的事实、一步步干到底的活，它就记不住前头说过什么了。 说白了，考试只考背诵，不考记性：省掉的，正好是考试看不见的那部分。 补救的办法也写明白了：多几层恢复全量注意力，再用 DeepSeek 的稀疏注意力，只盯最相关的 2048 个 token。 这模型外号叫 Le Chonk，1 万亿参数，每次只激活 520 亿，修完之后 Terminal-Bench 4.0 拿了 41%，还顺手做了个 1.9 万颗卫星的实时 3D 追踪。 你站「内存能省就省」，还是站「记性这东西，省不得」？

曝光 37 · 评论 1 · 点赞 0 · 书签 0