近期主流模型在基准测试上出现了一个明显的分化： 数学和编程推理分数持续上升，但脱离检索工具后的纯事实问答表现却相对滞后。 Qwen3.5 17B 在 AIM… · @realchendahuang · TwKit

@realchendahuang

近期主流模型在基准测试上出现了一个明显的分化： 数学和编程推理分数持续上升，但脱离检索工具后的纯事实问答表现却相对滞后。 Qwen3.5 17B 在 AIME 拿下 91.3%，但在 SimpleQA 这类纯事实基准上，无工具辅助的小参数模型错误率依然偏高。 这种现象背后是训练数据与参数分配的取舍。 Meta 在 Physics of Language Models 的研究中测算显示，Transformer 参数存储静态事实的容量上限约为每个参数两比特。 如果要让模型在权重内完整记忆海量百科实体和函数定义，需要耗费巨大的参数规模。 相比静态知识，逻辑推演的规程更容易被高密度压缩。 问题拆解、状态追踪和自我验算等能力，通过合成数据和强化学习能够有效迁移到小模型中。 同时，静态事实随着现实演进会逐渐失效，而推导规程的生命周期要长得多。 这与当前代码 Agent 的实际工作模式一致。Agent 通常不需要在权重中记住所有依赖库的完整接口，调用时直接读取本地依赖或文档，结合当前安装的具体版本生成代码。模型提供推理能力，事实细节由外部上下文动态供给。

曝光 49 · 评论 1 · 点赞 0 · 书签 0