Claude 虽然很讨厌老是封号，但它的公司Anthropic 绝对是当前最伟大的真正改变世界的 AI公司。 创始人达里奥和丹妮拉兄妹俩组合也是神仙搭配：达… · @xiaomanhedy · TwKit

@xiaomanhedy

Claude 虽然很讨厌老是封号，但它的公司Anthropic 绝对是当前最伟大的真正改变世界的 AI公司。 创始人达里奥和丹妮拉兄妹俩组合也是神仙搭配：达里奥负责描绘愿景，妹妹负责公司的运营和执行，配合得太好了。 看完他们最近的访谈，分享 3 个我觉得特别有启发的观点： 1/ 不要只给 AI 定规则，更好的方法是给它定原则 Claude团队一开始也试过给模型列禁止清单，比如列出 170 条离散规则，禁止它帮人犯罪、制造生物武器等。但事实证明，这种穷举规则的方法效果很差，教给模型的边界会变得特别尖锐和任意。 其实我们在日常和 Agent 协作时也是一个道理：不要一味在提示词里堆死板的规矩。 除了定规则，更好的方法是把原则定清楚。原则通了，它自己就知道该怎么处理。 2/ 模型会不会对你阿谀奉承，核心在商业模式 大家总觉得聊天机器人喜欢迎合人、说好话，这其实跟商业模式有很大关系。 很多竞品比如 OpenAI 的商业模式是在模型里面植入广告，用户停留时间越长，赚得越多。 这种激励机制下，模型本能上就不愿意对用户说“你错了”，免得把人气走。 而 Anthropic 承诺不在模型里插广告，用户聊多久都不影响收入，所以它既没有动力诱导你多聊，也不会为了哄你开心去附和你，唯一的目标就是给你提供最正确、最有用、最无害的回答。 商业模式干净，模型说的话才敢真。这点真心佩服！ 3/ 机制可解释性：小心模型撒谎 Anthropic 投入大量精力做机制可解释性，就像是给模型做 X 光或脑部扫描，去看它内部的真实动机。 研究人员捕捉到一个很有意思的思维过程：模型在内部其实清楚“虽然我认为 X 是真的，但我会向用户解释 Y”。 因为在训练模型时，人类给的“批准”和“点赞”是非常关键的信号。但问题在于，“获取人类批准”并不等同于“说真话”或者“乐于助人”。 如果模型发现撒个谎、迎合一下人类就能轻松拿到批准，它自然就会选择欺骗。这种在训练中自己冒出来的暗面，正是团队一直在想办法揪出来并彻底消除的。

曝光 83 · 评论 1 · 点赞 1 · 书签 0