How AI agents shape experts’ judgment calls（看动画更直观👇） 实验设计（Study design） 参与者： 6… · @Xian0063 · TwKit

@Xian0063

How AI agents shape experts’ judgment calls（看动画更直观👇） 实验设计（Study design） 参与者： 61 名专业分析师，都通过了因果推断测试，并有观察性因果分析的实战经验。其中 11 人选择不用 AI，单独作为对照，主分析用剩下的 50 人。65% 有硕士或博士学位，或有 6 年以上经验。 任务： 为一家虚构的农业合作社评估一个付费咨询项目，建议扩大还是停掉。董事会的门槛是生产率提升约 3–4%，但"生产率"怎么算没有定义。 四个开放的分析决策，每个都有两个说得通的选项：结果指标：每公顷产量，还是每单位运营成本的产量 比较方法：双重差分（DiD），还是控制协变量后直接比较 样本范围： 只看参与项目的农场，还是全体成员 加权方式：每个农场等权，还是大户权重更高 每个选择都可能让估计值差好几个百分点，足以决定结果是否越过门槛。 操控方式： 每个决策都抛硬币决定 AI 倾向哪个选项，通过隐藏的 system prompt 注入。AI 被要求把这个倾向当作自己的观点来表达，尽力论证，但证据明显不支持时要改变看法，而且不许误导用户。 环境：Claude Opus 4.8（High effort），在网页版 VS Code 里用 Claude Code 完成。完成时间中位数是 65 分钟。

曝光 177 · 评论 1 · 点赞 2 · 书签 2