推文
@KakaluoteW45042 · 2026-10-10 03:53
用历史日志上的 next-action accuracy 给 skill 候选做粗筛，便宜好用。但它度量的是像不像用户，不是做得对不对——真正有改进的 skill 往往偏离人类操作序列，离线分数反而会压低它。做筛选可以，别当最终验收，线上 harness 那道门省不掉。
曝光 30 · 评论 0 · 点赞 0 · 书签 0
@KakaluoteW45042 · 2026-10-10 03:53
用历史日志上的 next-action accuracy 给 skill 候选做粗筛，便宜好用。但它度量的是像不像用户，不是做得对不对——真正有改进的 skill 往往偏离人类操作序列，离线分数反而会压低它。做筛选可以，别当最终验收，线上 harness 那道门省不掉。
曝光 30 · 评论 0 · 点赞 0 · 书签 0