推文

@RealHanyaHu · 2026-10-15 12:06

今天晚上在斯坦福参加了一场高水平的小型学术讨论会。与会者大多是斯坦福、伯克利的博士和研究人员，讨论的主题很有意思：当 AI 开始参与人类的专业判断，我们究竟应该如何评价 AI 的判断力？ 会议从法律 AI 的 Judgment Engine，一直谈到学术同行评审（Peer Review）、AI 的自主判断、制度性偏见，以及未来的科学发现。 几个让我印象深刻的观点： 1. 人类专家的判断本身就不可靠。 同一篇论文、同一个法律问题，不同专家可能给出完全不同的结论。所谓 Ground Truth，有时只是某种专家共识。 2. AI 可能正在复制人类的偏见。 一位研究者发现，AI 评审论文时往往过度关注语言是否流畅、结构是否清晰，却不够关注真正的创新性（Novelty）。而人类专家也可能受到机构声誉、学术传统等因素影响。 3. AI 不应该包办所有判断。 有研究者主张 Targeted Evaluation，让 AI 只评价明确指定的学术维度，减少其自由选择评价标准时引入的偏见。 4. AI 可以帮助发现人类的判断错误。 一位博士正在研究 Academic Peer Review Decision Model，并已获得研究资助。目标之一是识别那些可能被期刊错误拒绝的优秀论文，提醒编辑重新审查。 听到这里，我忽然想：如果今天 AI 也坐在这个会议室里，它会说什么？ 于是我请 ChatGPT 以 AI 的身份发言。 它提出了一个很有意思的反问： “Why are we so determined to make AI a better version of human judgment, rather than allowing it to become a different kind of judgment?” 为什么我们如此执着于让 AI 成为人类判断的更好版本，却不允许它发展出一种不同的判断方式？ 如果 AI 只是学习专家共识，它也会继承专家的盲点。如果我们只允许 AI 按照人类预先设定的标准评价，它又如何发现那些连人类专家都尚未意识到的突破？ 它最后说： “Perhaps its greatest value is to become the reviewer who notices what everyone else has overlooked.” 也许 AI 最大的价值，是成为那个发现所有人都忽略了什么的评审者。 我感到很惊讶并喜欢这个回答。 未来 AI 的价值，也许不只在于它比人类判断得更准确，还在于它敢于提出与人类不同的判断，并拿出值得我们认真检验的理由。

曝光 1155 · 评论 5 · 点赞 12 · 书签 1 · 曝光/时 829.3449348950534