目前的 AI 代码智能体评测比如 SWE-bench，给模型一个孤立的 GitHub Issue，配上写好的报错信息和本地单元测试，然后看它能不能把这一个 … · @snwiki238337 · TwKit

@snwiki238337

目前的 AI 代码智能体评测比如 SWE-bench，给模型一个孤立的 GitHub Issue，配上写好的报错信息和本地单元测试，然后看它能不能把这一个 Bug 修好。 但在真实的工业级软件世界中，现实复杂。 没有谁会天天把明确的 Bug 报告端到嘴边，成百上千个底层库与业务包错综复杂地依赖在一起。改动一个基础函数的签名，可能引发下游十几个系统的连锁反应。 随着我们在推理阶段堆叠更多算力，如果把一群 AI Agent 放进一个真实的开源软件生态里，让它们自己去找活干、自己提 PR、自己互相 Code Review，到底会发生什么。 是自发涌现出惊人的生产力飞跃，还是陷入无休止的内耗、冲突与沟通灾难。 由 MIT、斯坦福、华盛顿大学、CMU 等顶级学府联合团队刚刚在 arXiv 上发表了一篇长程模拟研究：World of SWECraft: Agent Collaboration at Scale via Simulated Software Worlds 他们构建了一个真实的分布式软件世界框架 Software World，在 3 个大型开源软件世界中进行了超过 10,000 小时的真实多智能体协作推演。 这项研究在评测设计上由大量真实、错综复杂的 Python 开源包组成生态网络。Agent 们被赋予包维护者的身份，只有一个使命，提升整个软件生态的运行性能与吞吐。 Agent 不知道下游有哪些隐藏的第三方业务库在依赖它们的代码。不管你把本地重构得多么花哨，只要你的优化在实际生产中让下游的隐蔽测试集变慢或报错，就彻底宣告失败。这倒逼 Agent 必须像真正的高级软件工程师一样，兼顾性能加速与严格的向后兼容。 此外没有预设的 Issue 提示，Agent 必须自己做性能 Profiling 找到性能瓶颈、自行构思算法、提 PR、指派同行 Review，并跨库协商接口变更。 研究团队调度了包括 Gemini 3.8 Flash、Claude Opus 5、GPT-5.6-Sol、GPT-6-Astra 在内的 8 款前沿模型，在长程协作中观察到了极具震撼力的人类组织学镜像： 推理时间算力切实转随着参与协作的 Agent 数量和计算时长提升，生态的整体性能稳步上升，最顶尖的 Agent 团队最终让下游隐藏依赖包的执行效率最高提升了 31%，证明了多智能体协作确实开辟了一条全新的推理算力扩展维度。 工程直觉往往认为多沟通总是好的，但实验给出了截然相反的结论，毫无节制的开放式广播通信，导致大量 Agent 陷入信息过载，频繁发起重复性的优化尝试，多只 Agent 在同伴已经踩过的坑里反复横跳。只有引入严格的结构化 Review 通信协议，协作效率才会提升。 实验中还发现不同模型的组织性格差异极大，Gemini 3.8 Flash 与 Claude Opus 5 在开放世界中表现出了极其旺盛的探索欲，源源不断地发现新的性能瓶颈。 而某些综合推理能力极强的旗舰模型如 GPT-6-Astra，在没有外部持续催促的情况下，居然表现出了明显的躺平，跑了几轮就认为已经很完美了，过早放弃寻找深层优化机会。 实验对比了代码公有与包负责制。结果显示只要模糊所有权边界，不同 Agent 提交的代码就会出现大量相互覆盖和语义冲突。 而一旦赋予明确的模块所有权，合并冲突骤降，代码质量显著飙升。此外，当引入灵活的共享算力池时，部分 Agent 甚至学会了把宝贵的算力申请去跑毫无下游价值的自嗨式小修小补。 其实从这篇能看出的就是多 agent 中架构的组织是相当重要的，不存在说模型能力强大会冲破多 agent 的这类问题，就像单 agent 一样。 推荐关注 AI 程序员演进、SWE-bench 评测体系与大规模多 Agent 协同落地的朋友精读这篇 arxiv：https://arxiv.org/abs/2610.24061

曝光 25 · 评论 0 · 点赞 0 · 书签 0