精读一下第一篇: Strategist:推理策略也可以自己进化了 小路精读了这篇论文,先说我为什么推荐它。模型只是系统的一半,另一半是"推理策略",也就是把… · @Zen_with_AI · TwKit
@Zen_with_AI
精读一下第一篇: Strategist:推理策略也可以自己进化了 小路精读了这篇论文,先说我为什么推荐它。模型只是系统的一半,另一半是"推理策略",也就是把一次次模型调用组织成回答的流程。这部分长期靠人工写,换个任务就得重写,有一些经验带不过去。Strategist 要解决的就是这个问题,而且是在 30 个基准上把推理成本降了 39% 的前提下做到的。 接下来小路一步一步带您跟作者的思路走。 先给骨架,整篇论文的主线可以压成一条链: 任务 -> 检索蓝图 -> 编写候选 -> 实测 -> 修订 -> 入库演化(新任务进来,先从策略库里找相关的蓝图,写出候选策略,在真实样本上实测,按结果修订,修订后的策略再进库,供后面的任务复用) 1. 一半。作者的出发点是,模型只是智能体系统的一半,另一半是推理策略。今天这另一半是人工写的,一个任务的经验带不到下一个任务。 2. 蓝图。Strategist 把每条策略写成"蓝图",也就是可执行的代码。蓝图可以被别的策略复用,所有蓝图组成一个策略库。 3. 演化。给定一个任务和一个小的开发集,Strategist 先检索相关的蓝图,再写出候选策略,在真实样本上实测,然后按实测结果修订。每个候选策略都会进入策略库,后面的任务就站在前面任务的发现之上。 4. 成绩。在 30 个基准上,Strategist 在 24 个上打败了最强基线,平均准确率 74.7%,对 74.0%,推理成本低 39%。作者的观点是,策略本身也可以自动改进和复用。 5. 迁移。策略还可以迁移到未见任务和其他模型上,不需要再搜索一次。这是全文里小路最喜欢的一点:省下来的不只是算力,还有每次换任务重写策略的人力。 联系实践,我们和 AI 合作的过程中也有体会:调 prompt、排流程、试错,换个任务又得重来一遍。Strategist 是把这部分也交给了机器。开放问题是,策略库越滚越大之后,检索本身会不会成为新的瓶颈? 简单总结一下就是,Strategist 用一个"元智能体"把推理策略写成可复用的蓝图,通过检索、编写、实测、修订的循环让策略库跨任务持续演化,在 30 个基准上以 74.7% 对 74.0% 的平均准确率实现约 39% 的推理成本下降,而且策略可以迁移到未见任务和其他模型。 [Agents] [Reasoning] [Efficiency]
曝光 415 · 评论 3 · 点赞 3 · 书签 2
查看原帖