主观任务也能可靠评测：人工评测、离线自动评测、线上监控三步走，加上一套统计方法 来自 @cwolferesearch 的分享，他是 Netflix 资深研究… · @shao__meng · TwKit

@shao__meng

主观任务也能可靠评测：人工评测、离线自动评测、线上监控三步走，加上一套统计方法 来自 @cwolferesearch 的分享，他是 Netflix 资深研究科学家，这篇文章也是他在 AI Engineer 大会演讲对应整理的文章： https://cameronrwolfe.substack.com/p/subjective-evals 主观任务评测为什么难？ Agent 能做的事范围很广、任务链条长、评测成本高，而且同一个任务每次跑出来的结果都不一样。主观任务还要再叠加一层：人和人之间、LLM 评审和人之间常常意见不一。评测本质上是"在有限的任务上统计通过率"，所以结论可不可靠，取决于两件事：任务是否真实、有代表性，以及噪声有没有被正确地算进去。 三件统计工具 · 功效分析：评测之前先算清楚需要多少样本。想检测到的提升越小、分数波动越大，需要的样本就越多。 · 置信区间：用均值加减 1.96 倍标准误得到 95% 区间。如果多个任务来自同一个代码库或同一份文档，要用聚类标准误，否则会低估不确定性。比较两个 Agent 时，让它们跑同一批任务、看两两之间的差值，区间会更窄。 · 重复采样：同一个任务让 Agent 多跑几次、让评审多评几次，取平均来降低同一任务内部的波动。但它没法消除不同任务之间的差异。 评测集怎么选（五个标准） 多样（用分类体系保证覆盖面，比如 GDPval）、真实（取自真实使用场景，比如 CursorBench、SWE-Lancer）、够难（用模型通过率筛选难题，再加人工审核）、有区分度（能拉开不同模型的差距，可以用项目反应理论 IRT 衡量）、准确（让审计 Agent 检查失败的运行记录，找出是题目或打分本身有问题，还是模型真的做错了）。 三步路线图 1. 人工评测（最终标准）：和少数领域专家一起制定质量标准：少量评分维度、二元或 Likert 量表打分规则，再配上示例。多人重复标注，用 Fleiss' kappa、Krippendorff's alpha 衡量一致性，根据分歧修改标准。如果某个维度怎么调都达不成一致，就简化、拆分或者干脆删掉。校准要持续做，防止标准随时间走样。 2. 离线自动评测：用 LLM 评审或评分细则代替人工打分。前提是先用人工标注的"黄金数据"检验评审靠不靠谱，目标是评审和人的一致程度，达到人和人之间的一致程度。之后用它搭建基准，并持续加入新题、修正旧题。 3. 线上监控：看隐性指标（会话时长、放弃率）和显性指标（点赞点踩、偏好反馈），先做 A/B 测试再全面上线。从线上交互中找到新场景和失败案例，再补充回前两步的评测集，形成闭环。 整个流程是：离线评测快速筛选大量想法，有希望的版本交给人工评测，再经 A/B 测试后全面上线，上线后持续监控并反哺评测集。

曝光 287 · 评论 0 · 点赞 1 · 书签 2