我自己复算了下公开打分，Clef Flash 在默认 0.50 阈值下，61 个已知失败漏了 48 个。测试数据来自 Hamel Husain 和 Anta… · @jiangkoumo_ · TwKit

@jiangkoumo_

我自己复算了下公开打分，Clef Flash 在默认 0.50 阈值下，61 个已知失败漏了 48 个。测试数据来自 Hamel Husain 和 Antaripa Saha 公开的 98 条租房 Agent 轨迹打分，原始对话私有，仅公开标签与预测分 这类决策模型指专门输出分类选择、概率或评分的模型，用来给 Agent 执行轨迹做自动化筛查。调阈值只需复用现有打分，不需要重新调用模型。作者在交叉验证各训练折选出 Clef 的平均阈值约 0.053，留出集精确率 66.5%、召回率 93.1%，代价是标出的记录里约三分之一是误报，需要人工复核 每 100 次调用，Perplexity Decider 1.1 约 0.82 美分（留出集 F1 0.787），OpenAI Decisions GPT-6 Luna 约 3.72 美分（留出集 F1 0.865）。加上精确率与召回率双 80% 约束后 Perplexity 出现无解回退，不是稳定满足双 80 业务对漏报和误报的容忍度不同，阈值没法照搬默认值。作者建议为具体失败模式单独做 judge，阈值在训练集选定，再用留出集检验

曝光 22 · 评论 0 · 点赞 0 · 书签 0