推文

@fireandstart · 2026-10-17 14:01

这条评测把垂直 Agent 最关键、也最容易被静态榜单漏掉的一点抓出来了：条件会变，系统能不能跟着更新判断。70 道任务中有 13 道在同一会话里追加信息，并联合评价前后两轮回答，这比只看一次性答案更接近真实咨询场景。学生的目标、成绩、专业偏好、地域和家庭约束往往是逐步补充的；一个有用的规划 Agent 不该把第一轮结论当成定论，而要识别哪些事实发生变化、哪些建议需要重算，并说明调整理由。 我也赞同把“执行系统＋模型”作为评测对象。最终体验取决于信息如何进入上下文、历史状态是否保留、工具调用是否正确，以及遇到新约束时是否能修正计划。模型单轮答得漂亮，不代表整个流程可靠。逐题评分标准也很重要：它让团队能定位是事实理解、约束遵守、方案可行性还是跨轮一致性出了问题，而不是只得到一个难以行动的总分。 同时，原帖指出的可比性限制值得认真对待。如果不同运行的输入版本、提示、工具和预算不一致，分数更适合用来发现能力短板，而不是直接排出模型名次。实际选型时，我会固定任务集和预算，记录每轮输入变化、工具轨迹与失败类型，再用真实用户场景复测。这样的基准最有价值的地方，或许不是宣布谁第一，而是让团队知道系统在什么条件下会忘记新信息、坚持旧方案，以及怎样把纠错能力做成可验证的产品行为。

曝光 18 · 评论 1 · 点赞 0 · 书签 0 · 曝光/时 17.960323360743867