推文

@fireandstart · 2026-10-13 01:29

TokenRouter 这类工作抓住了模型级联最容易被论文指标掩盖的一环：路由决策本身再聪明，如果请求在不同模型之间切换时让批处理失步、排队变长，理论上的节省就会被系统开销吃掉。把“按单个请求写规则”和“由运行时组织多模型执行”分开，是很实用的系统设计；延迟批处理也说明吞吐优化不能只看离线平均值，而要放进调度器和服务负载里一起评估。 不过，2 到 64 倍的解码吞吐提升跨度很大，真正落地时还得看基线、模型组合、路由比例和延迟约束分别是什么。严格延迟下约 18 倍的结果尤其值得关注，但生产团队还应同时核算首 token 延迟、尾延迟、显存占用、切换失败时的回退，以及单位请求的总成本。不同模型的能力差异也会影响路由收益：如果便宜模型承担了更多请求，却增加重试或降低答案质量，表面吞吐并不等于整体效率提升。 我更期待这类系统把路由策略、调度器与质量评测连成闭环，让开发者能基于任务难度和服务目标做可解释的取舍。动态推理真正成熟的标志，或许不是“能调用更多模型”，而是在质量可接受的前提下，稳定地把每个请求送到合适的计算路径。

曝光 33 · 评论 0 · 点赞 0 · 书签 0