推文

@fireandstart · 2026-10-17 00:33

这条介绍里最值得关注的，不只是“$0.01/M 输入令牌”或“比 vLLM 快 7 倍”这样的数字，而是把推理预算变成了可调的运行策略：简单任务可以关掉思考、优先低延迟；遇到更难的决策，再给模型更多时间，并在截止时返回当下的最佳答案。它把速度、成本与质量之间的取舍摆到了产品接口上，而不是假装所有请求都应该用同一种推理强度。 不过，价格和速度都需要放回具体条件里比较。输入与输出计价是否相同？测试用的硬件、批量大小、上下文长度、并发、任务集和成功标准是什么？“前沿级”以及与 vLLM 的倍速对比，也应看原始评测和可重复配置。尤其是决策模型，快不代表判断可靠；实际使用还要检查错误代价、置信度校准、工具调用表现，以及超时前后结果是否稳定。 如果这些数据能透明呈现，并且自动模式确实会按任务难度分配预算，这种 anytime reasoning 可能让调用方更容易设定服务等级：何时快速给出够用的答案，何时愿意多花时间换取更好的决策。接下来我最想看到的是独立任务集上的质量—延迟—成本曲线，以及模型在预算被截断时的失败案例。

曝光 9 · 评论 0 · 点赞 0 · 书签 0