推文

@BaiBtw · 2026-10-14 00:37

大模型能解复杂数学题，却可能在小学题上出错。2024年讨论的“锯齿状智能”，说的就是这种很难凭直觉预测的能力落差。 当时的例子分几类： ① 数字比较：把9.11说成比9.9大，解释还能写得头头是道。 ② 字符计数：barrier里明明有3个r，GPT-4o却回答2个。 ③ 简单博弈：井字棋局面不复杂，模型仍会走出不合理的一步。 ④ 视觉判断：能识别许多犬种、花卉，不代表能可靠判断两个圆是否重叠。 这些是2024年的具体案例，不能直接当成今天各模型的能力榜。重点是：按人的难易排序，未必能预测模型在哪儿成功、在哪儿失手。 当时提出的一个判断是，这些缺口未必是根本障碍，但只扩大模型还不够，还要改进训练，让它更清楚自己知道什么。Llama 3.1的一个做法，是用知识探测生成训练数据，鼓励模型回答有把握的问题，对不确定的问题拒答；这也不等于幻觉已经解决。 落到实际使用，就是把模型放在它擅长的任务上，同时留意这些不连续的能力边界，尤其在生产环境里保留人的检查。

曝光 7 · 评论 0 · 点赞 0 · 书签 0