Kimi K3.1 Pro 的 Terminal-Bench 高分，被人抓住了小辫子。而且也可能暴露了模型蒸馏的后遗症。 R40 的研究者提出质疑：这些高分… · @Michaelzsguo · TwKit

@Michaelzsguo

Kimi K3.1 Pro 的 Terminal-Bench 高分，被人抓住了小辫子。而且也可能暴露了模型蒸馏的后遗症。 R40 的研究者提出质疑：这些高分可能来自模型记住了考题和评分规则，未必都代表能力的提升。他们举了这样一个例子： 任务要求修复一个燃油规划有误的航班规划器。K3.1 在推理时，却说出了题面里没有、隐藏测试才会检查的要求：限制加油量、把起飞重量标记为达到上限，并对燃油缺口发出警告。按这套规则做，它通过了测试。 研究者随后修改了代码注释，明确要求优先保证最低储备油，不能为了满足起飞重量上限而削减必要燃油，并同步修改了测试。 K3.1 读到了新要求，却仍坚持原来的规则，结果没通过修改后的任务。而其他模型则能跟着修改走。 这就像拿破仑和士兵， 将军把问题都改了， 死记硬背答案的士兵还照着原问题答，结果闹出笑话。 研究者怀疑，Kimi训练时可能有看过隐藏规则的教师模型，把这些规则蒸馏进了 K3.1。

曝光 182 · 评论 0 · 点赞 3 · 书签 0