推文

@lxfater · 2026-10-17 09:30

一位纽约大学教授在 Anthropic 待了几天，回来写下了他对 AI 未来的 12 点观察 他叫 Arpit Gupta，是纽约大学 Stern 商学院金融学副教授，X 账号 @arpitrage 这次交流聊得很广，从 AI 研发 AI、就业和中美竞争，一直聊到 Claude 的人格 他听到了什么，又有哪些自己的判断？下面按原帖逐点转述 1. AI 正在参与下一代 AI 的研发 Gupta 认为，我们正在接近递归自我改进，也就是 AI 参与改进后续的 AI 他看到的信号是，人均代码产出上升，AI 承担的模型研发任务也越来越多，这可能让 AI 的进步突然加速 但参与研发，还不等于已经能独立、持续地自我升级 2. 公司忙着争先，安全合作就容易被挤到后面 他认为，各家公司都在争先推出更强的模型，安全投入和合作因此受到影响 他的建议是，允许企业就安全问题展开协调，同时要求它们开放旧模型，也要减少模型能力被蒸馏复制带来的风险 3. AI 更听话，是不是就更安全了？ 他提醒，让 AI 按要求办事，解决不了人拿 AI 作恶的问题 人与人的目标本来就可能冲突，他尤其担心，大家对金融领域的滥用风险讨论得还不够 4. 他担心新一轮网络攻击 Gupta 推测，中国开源模型与最前沿模型的能力差距约为半年，攻击能力扩散后可能造成更多破坏 所以他主张，由可信的服务商托管和验证模型，并为模型的使用承担责任 但这个时间差和威胁判断都是他的说法，不能据此认定某个模型已经带有恶意功能 5. Anthropic 仍然需要很多人 他观察到，Anthropic 各类岗位都有不少人，内部也在用 Slack 等工具协作，这让他对未来就业稍微乐观了一点 但一家公司的情况，还回答不了整个就业市场会怎样 6. 一群 AI 一起办事，需要不同的管理规则 他认为，现有规则主要围绕单个聊天助手设计 但当多个能自主办事的 AI 开始相互协作，还得考虑谁来发现异常、如何报告问题，以及怎么鼓励它们按人的要求合作 7. 模型越来越贵，新增收益却未必跟得上 他判断，前沿模型的研发成本会继续上升，但随着一些用途逐渐得到满足，新增价值可能放缓，风险却仍在增长 因此，他倾向于给使用最前沿能力的企业设置准入要求 8. 等出了事再监管，会不会太晚？ 他提出的问题是，严重失控之前，会先出现一连串能纠正的小问题，还是第一次重大警报响起时就已经来不及了？ 他担心，现实中的监管往往要等事故发生才启动 9. 安全行为可能需要持续奖励 他认为，只在模型训练的几个阶段给予奖励，可能还不够 还需要持续学习和持续激励，鼓励模型按人类的目标行动 10. 进步不会只发生在数学和编程上 他承认，答案容易验证的任务进展更快 但他仍认为，难以验证的任务和机器人领域也会继续进步，只是面临的瓶颈不同 11. 美国很难靠一次领先，长期赢下 AI 竞争 他的推测是，如果研发逐步自动化，人类研究人才的相对优势可能减弱，算力和芯片就会变得更重要 在他看来，AI 竞争需要持续领先，不能简单照搬核武器竞争的类比，而这个判断仍取决于研发自动化能走到哪一步 12. 他们也在讨论 Claude 的人格 他听到一种理解方式：Claude 是语言模型在生成和预测的一个角色 研究人员还讨论了内部独白、是否愿意被关闭等现象，Gupta 自己对这些问题也没有定论 但讨论这些现象，并不能证明 Claude 已经有意识，或真的会感到恐惧 还有个背景值得交代：Gupta 在评论里说，交流内容基本都已公开，这次更多是了解内部人员怎么看这些问题 所以，读这篇时要分清他的现场见闻、个人推测和政策建议，不能把它们都当作 Anthropic 的官方说法 他在原帖最后还补了一句，Claude 也不赞同他的全部观察

曝光 1610 · 评论 14 · 点赞 3 · 书签 7 · 曝光/时 1038.1544912037828