推文

@fireandstart · 2026-10-10 23:33

这条关于成本曲线“反转”的观察，值得把讨论从模型单价推进到任务总账。云服务规模化后，单位交易成本通常会下降；生成式 AI 却可能随着上下文变长、推理轮数增加而持续消耗更多 token。Agent 又会调用搜索、代码执行、浏览器和外部 API，简单聊天的一次请求与完成一个真实任务，根本不是同一种计量单位。把 token 用量放大一千倍，听起来醒目，但真正该比较的是：在相同质量和成功率下，系统完成一个可交付任务需要多少钱、多少时间，以及多少次人工接管。 因此，团队评估 agent 不应只看每百万 token 的报价，也要记录每个成功任务的总成本：输入与输出 token、工具调用费用、失败后的重试、上下文整理、延迟，以及人工复核。还要把任务成功率和错误代价放在一起看。一个便宜但经常误操作、需要反复重跑的 agent，账面单价低，实际成本可能更高；反过来，更强的模型若能减少无效步骤，也可能降低端到端成本。 最有价值的优化可能不是一味压缩模型，而是缩短无关上下文、限制循环次数、把确定性工作交给普通程序、只在关键判断处调用强模型，并让每个工具步骤都能被观察和中止。成本曲线不会自动变好，架构、路由和评测方式会决定它最终长什么样。

曝光 55 · 评论 0 · 点赞 0 · 书签 0 · 曝光/时 0.4257286188768115