Anthropic诉讼披露2021年AI规划文件

如果不是被起诉，我们永远都不会知道，Anthropic在2021年就已经完美地预言了现在的AI发展。 我刚看完这份 @AnthropicAI 在诉讼中曝光的内部文件，叫《Concise Research Roadmap》，最后更新于2021年7月。 这份文件由Anthropic联创Jared Kaplan撰写，里面还保留了 @DarioAmodei 、 @NotTomBrown 、 @AmandaAskell 、 @ch402 等一批核心研究人员的内部评论。 文件上甚至还标着「Highly Confidential–Attorneys' Eyes Only」（高度机密，仅限律师查阅）。 我仔细看完之后，真的有点感慨。 因为今天我们讨论的Coding Agent、Tool Use、长上下文、RL、自动化反馈，甚至Agent的安全问题，在这份五年前的研究路线图里，基本都已经出现了。 而且远不只是一些模糊的概念。 首先，Anthropic在2021年就已经明确提出，要做一个具备软件工程师能力的AI助手。 在文件第一页，他们就写道，希望开发一个通用AI助手，可以通过对话帮助用户创建、编辑和解释软件。 包括开发浏览器插件、编写函数、发现Bug、设计API、讨论代码风格和最佳实践等等。 最终目标是让AI展现出一名软件工程师同事所具备的能力。 你会发现，这不就是今天Claude Code正在做的事情吗？ 更有意思的是，他们当时就认为，要实现这个目标，需要大规模生成模型、长期记忆，以及通过自动化奖励和人类反馈进行强化学习。 甚至连Roadmap都已经想得非常清楚了。 第二，他们当时就专门把RL for Tool Use列成了一项重要研究方向。 研究的核心是让大语言模型学会使用工具，理解环境和目标，并通过强化学习不断改进。 当时他们提出的具体任务包括搜索、printf调试等，还准备研究工具使用能不能让模型获得比监督学习更好的Scaling效果。 今天Agent领域讨论的一大堆问题，五年前他们就已经开始思考了。 第三，最让我意外的是，他们当年甚至就在讨论Coding Agent的产品形态。 Tom Brown提出，代码仓库浏览是一个简单而有价值的工具，可以从这里开始。 Nelson Elhage则表示，如果AI能够主动查找项目中的类型定义，会是一项很强的能力。 Andy Jones进一步提出了两条不同的路线。 一条是打造最优秀的AI程序员，另一条是先验证AI使用工具的能力。 Dario Amodei的回答是：短期优先后者，长期优先前者。 而且同一份文件里，Sam McCandlish就已经开始担心，如何安全地部署非沙箱化工具。 Dario特别强调了部署阶段执行代码的工具。 你再看看今天围绕Coding Agent的Sand box、权限控制和代码执行安全的一系列讨论。 真的很难不感慨。 第四，他们很早就意识到，模型能力和Alignment不能脱节。 Amanda Askell在评论里担心，如果能力研究集中在代码领域，而对齐研究只关注自然语言，那么未来可能会出现模型能力越来越强，但对齐研究无法充分覆盖这些能力的情况。 所以她强调，两者应该紧密结合。 这其实也是今天Agent安全研究面临的重要问题。 我觉得这份文件最有意思的地方，是它让我们重新认识了Anthropic这家公司。 2021年的时候，ChatGPT甚至都还没有发布，整个行业对大语言模型未来能做什么，都还没有今天这么明确的认识。 但Anthropic的这群研究人员，已经把软件工程助手作为通向AGI的一个具体研究目标，并且围绕模型规模、数据、长上下文、工具使用、强化学习和安全，制定了一套相当完整的研究路线。 至少从今天回头看，他们对技术发展方向的判断，确实非常超前。 而且更值得注意的是，这份文件讨论的很多问题，直到2026年都还没有被彻底解决。 五年前他们在思考如何让AI成为软件工程师的同事。 五年后，我们已经开始讨论，如何让AI独立完成整个软件工程任务，甚至参与改进自己的模型和研发系统（AKA：RSI）。 有时候AI的发展看起来快得不可思议，但仔细回头看，你会发现，有些人其实很早就已经知道自己要往哪里走了。

曝光 84955 · 评论 34 · 点赞 1051 · 书签 827

这个Anthropic披露的文件是真的吗？ 2021年7月 - 讨论1T模型的训练和RL - 讨论硬件的风险，TPU，Trainium - 讨论language，code，diffs，PRs，等数据集的构造 - 讨论各种各样的coding工具 - 讨论各种scaling law，reward model，test time compute，long context，memory - 讨论RL for tool use？？？ 每一个单词现在看完全不吃惊，但在当时2021，同时出现在一个文档，让我再次惊叹，人的认知差距可以跨这么多年吗 https://i.smitop.com/concise-research-roadmap.pdf

曝光 74448 · 评论 21 · 点赞 318 · 书签 222