同一份 Research Agent 生成的报告，两个专家可能给出完全不同的分数。那我们平时用 LLM Judge 跑出来的 Eval，到底有多可信？ Ca… · @Xudong07452910 · TwKit

@Xudong07452910

同一份 Research Agent 生成的报告，两个专家可能给出完全不同的分数。那我们平时用 LLM Judge 跑出来的 Eval，到底有多可信？ Cameron R. Wolfe 最近这篇文章很值得读，专门讨论怎么评估 Deep Research、创意写作等高度主观的 Agent 任务。 作者给出了一套挺实用的流程。 先让领域专家定义评分标准，再让多个人评同一批结果。如果人类评审之间分歧很大，就得先修改评分规则，甚至删掉那些根本评不准的指标。 接着，用人工确认的数据校准 LLM Judge，通过重复测试、置信区间，避免把随机波动当成模型进步。 最后还要回到真实产品，用 A/B 测试和用户反馈检查离线评测的提升有没有真正转化成使用体验。 我比较认同「先验证评估器」这个思路。 尤其是做 Research Agent，很多时候我们太关注 Eval 分数有没有上涨，却很少认真检查评分标准本身是否可靠。 感觉这篇很适合做 Agent Eval 的朋友收藏，质量非常高！里面的数据采样、评审校准和统计方法都很有参考价值。 原文：https://cameronrwolfe.substack.com/p/subjective-evals

曝光 581 · 评论 3 · 点赞 14 · 书签 6