推文

@cxjwin · 2026-10-16 09:24

今日“慢 AI” -> 最近使用 AI，有一个挺意思的思考： 对人类来说，智力越高，解决简单问题通常越快。 但对大模型来说，能力越强，解决简单问题未必越快。 举个例子。 假设我们把不同级别的大模型，类比成人类的学历： Sonnet ≈ 本科生 Opus ≈ 硕士研究生 Fable ≈ 博士生 当然，这只是为了方便理解，不代表模型能力真的对应这些学历。 现在有一道初中数学题。 对于人类来说，让一个博士生和一个本科生同时做，大概率博士生不会比本科生慢多少，甚至可能更快。 因为很多知识对博士生来说，早已成为可以直接调用的经验，根本不需要复杂思考。 但是，大模型不一样。 同样一道题，Sonnet 可能 3 秒就给出了正确答案。 换成 Fable，它未必能更快。 因为大模型不是人类。更强的模型可能有更高的推理开销、更慢的 Token 生成速度，也可能在简单问题上投入更多计算。 最终出现一个非常有意思的现象： 你花了更多的钱，等待了更长的时间，得到的却是几乎一样的答案。 这就引出了我的第一个观点： 模型的智力水平，与解决问题的效率，并不是简单的正相关关系。 当然，这不意味着 Sonnet 比 Fable 更聪明。 而是很多任务本身，根本用不到 Fable 的能力上限。 比如日常编码、文案润色、资料整理、常规 Bug 修复。 如果 Sonnet 已经能够稳定完成，换成 Fable，可能既没有明显提高准确率，也没有缩短执行时间。 反而增加了时间和 Token 成本。 但这里还有一个容易被忽略的变量： 单次回答的速度，不等于整个任务的完成速度。 比如一个复杂 Bug。 Sonnet 需要尝试五轮，每轮两分钟，最终花了十分钟。 Fable 虽然思考了五分钟，但一次就找到了根因。 这个时候，Fable 反而更高效。 所以我们不能简单地说，小模型一定更划算，大模型一定是浪费。 真正需要衡量的是： 完成一个任务所需的总成本，而不是单次调用的成本。 这里面至少包括四个指标： 响应时间 Token 成本 任务成功率 返工和人工验证成本 顺着这个逻辑继续思考，就会发现： 我们过去习惯于追求最强的模型。 模型排行榜上谁第一，就想用谁。 但实际使用 AI 时，绝大多数任务可能根本不需要排行榜第一的模型。 这就像你拥有一支博士团队，但不是每一道初中题，都需要召集所有博士开会研究。 一个更合理的 AI 工作流应该是： 默认把任务交给成本更低、响应更快、能力足够的模型。 遇到复杂问题、连续失败或者高风险任务，再升级到更强的模型。 甚至可以在同一个模型内部，通过调整推理强度来控制计算开销。 从这个角度来看，我觉得未来 AI 应用有一个很重要的方向： 不是让所有任务都使用最强的模型，而是让每个任务都使用恰到好处的智能。 这里涉及两个关键能力： Model Routing：判断任务应该交给哪个模型。 Inference Compute Budget：判断这个任务值得投入多少推理计算。 过去我们关注的是模型的智力上限。 以后可能还要关注一个指标： 单位时间、单位成本内，到底完成了多少有效任务。 最后总结一下我的理解： 对人类来说，博士生解决初中题，往往是一种能力碾压。 对 AI 来说，Fable 解决 Sonnet 就能稳定完成的问题，可能只是一种算力浪费。 最强的模型，不一定是当前任务最好的模型。 真正高效的 AI 使用者，不是每次都调用最聪明的模型，而是知道什么时候根本不需要它。 这可能也是 AI 使用从「模型崇拜」走向「工程化」的一个标志。

曝光 121 · 评论 3 · 点赞 0 · 书签 0 · 曝光/时 63.57317272042158