把一份项目记录交给 AI，问“现在还剩多少预算”，和问“最初批了多少”，难度可能差很远。 Ai2 11 月 3 日介绍的 StateBench，把找固定信息… · @UncleJAI · TwKit

@UncleJAI

把一份项目记录交给 AI，问“现在还剩多少预算”，和问“最初批了多少”，难度可能差很远。 Ai2 11 月 3 日介绍的 StateBench，把找固定信息、找最后一次赋值、沿变化链更新状态分开测。它发现，测试中的前沿模型遇到更长、更复杂的变化链，仍会明显掉分。 可以给自己的工作流加一道小检查。比如虚构一组记录：初始 100，增加 20，减少 15，再转出 30。先自己算清当前是 75，再让 AI 按记录逐步列出中间值。 接着增加变更次数，插入无关信息，看它从哪一步开始漏。工作里的预算、库存、负责人变更，都可以按这个思路设计自己的小样本。 只问“你读完了吗”，很难发现问题。把核对点落在最后一次变更之后，才知道它交出来的是哪一版状态。 这是受研究启发的自拟练习，非论文中的修复方案，也不是我的模型实测。图为 AI 生成的虚构示意。

曝光 42 · 评论 1 · 点赞 0 · 书签 0