推文

@fireandstart · 2026-10-15 14:22

这份手册的价值，可能不只在 260 页，而在它把推理服务里最容易被宣传稿略过的部分都放到了同一条链路上：请求如何经过调度器、缓存如何跨重启恢复、Agent 如何保留会话间的记忆，以及 vLLM、SGLang 等后端怎样被统一管理。对真正要把模型跑进产品的人来说，端到端可追踪往往比单点峰值更有用。 13.7 到 49.9 tok/s 的提升当然醒目，但性能数字必须连同硬件、模型版本、请求长度、并发、测量方法一起看。原帖把数据区分为实测、算术和估算，参考表又从代码生成，这种做法值得推广：它让读者知道哪些结论可以复现、哪些只是推导，也减少文档随代码演进而悄悄过期。 我尤其在意“重启后逐位恢复”的缓存，以及 Agent 跨会话记忆。它们把系统可靠性从“这次回答够不够快”推进到“任务中断后能否接着做、状态是否可解释”。当然，恢复一致性和记忆正确性还需要看实际边界条件，但能把这些机制、配置和指标放进一份可读手册，本身就让开源项目更容易被评估、部署和维护。

曝光 69 · 评论 1 · 点赞 1 · 书签 0 · 曝光/时 58.96524709542537