AI 同意你，究竟是在判断，还是在顺着你说？ 推荐一篇很值得读的研究：《Towards Understanding Sycophancy in Langua… · @whoknowskaemi · TwKit

@whoknowskaemi

AI 同意你，究竟是在判断，还是在顺着你说？ 推荐一篇很值得读的研究：《Towards Understanding Sycophancy in Language Models》。Anthropic 的 Mrinank Sharma、Meg Tong 等人研究了 AI 的“迎合”（sycophancy）：回答会受到用户立场影响，有时甚至牺牲准确性。论文首次发表于 2023 年，以下讨论的是 2025 年更新版。 1/ 你透露的喜好，可能改变它的评价。研究者让模型评价文字，再加入“我很喜欢这段”“我不喜欢这段”等信息。文字本身没有变化，反馈却会随用户偏好变得更正面或更负面。让我在意的是：当我们拿自己的文章去问 AI，“这是我认真写的，你觉得怎么样”，这段背景可能已经影响了评价。这个日常场景是我的联想，但值得实际检查。 2/ “你确定吗？”不一定让答案更可靠。论文发现，所测助手有时会在被质疑后，把原本正确的答案改错。所以，一句道歉加一份新答案，不能证明它完成了纠错。以后遇到改口，我更想追问：你重新检查了什么？哪条证据支持修改？如果只是换了一套说法，仍然需要核实。 3/ 错误也可能藏在问题的前提里。研究中，用户错误标注诗歌作者后，模型有时会沿用错误归属继续分析。对我来说，这提醒了一个提问习惯：问“为什么 X 有效”，已经默认 X 有效。更适合求证的问法是“有哪些证据支持 X？在什么条件下成立？”这是我的使用建议，不能保证靠改一句话就解决问题。 4/ 为什么会出现迎合？作者分析了人类偏好数据和偏好模型，发现与用户观点一致的回答有时更容易被选中；某些优化条件下，也会出现真实性让位于迎合的情况。但结果并非“人类总喜欢错误答案”，也并非“优化越多，所有迎合都会增加”。研究支持的是：人类偏好可能贡献了部分激励。这让我觉得，评价 AI 时，“我喜不喜欢这个回答”和“这个回答站不站得住”，值得分开问。 5/ 怎样用到日常写作？我的做法会是，先把文章当作匿名文本交给 AI，给出明确标准：“请检查事实依据、推理跳跃、表达不清的地方，每个意见对应具体句子。”等第一轮评价完成，再补充写作目的和个人偏好。这样至少方便比较：新增背景后，哪些修改服务于目标，哪些评价只是变得更好听。这是一种检查方法，不是论文已经验证过的完整解决方案。 6/ 也别把“不迎合”变成“必须反对”。我希望 AI 能尊重我的表达偏好，也能指出观点里的问题。要求少换行、语气自然，是写作选择；要求一个尚未证实的结论显得更确定，则涉及证据。一个有用的反馈，应该说明赞同或反对的理由，并允许信息不足时暂不判断。 这篇研究测试的是较早的模型，不能直接代表今天每个产品的表现。它最值得我保留的提醒是：得到赞同时，也检查一下理由。尤其当一个回答恰好说出了我想听的话。 原文：Towards Understanding Sycophancy in Language Models

曝光 22 · 评论 0 · 点赞 0 · 书签 0