把调度器的控制平面写成 C++ 有限状态机，再用类型系统在编译期保证 KV cache 不会被错误复用——这是 TokenSpeed 和现有推理引擎最不一样… · @kafkaup · TwKit

@kafkaup

把调度器的控制平面写成 C++ 有限状态机，再用类型系统在编译期保证 KV cache 不会被错误复用——这是 TokenSpeed 和现有推理引擎最不一样的地方。PyTorch 基金会把它收进生态时强调的也正是这点：第一个把控制平面和执行平面分开的开源推理引擎。 它的定位是面向 agentic workload，目标是 TensorRT-LLM 级的性能配 vLLM 级的易用度。执行平面留在 Python，方便研究员和工程师快速改；而请求生命周期、KV cache 归属、overlap 时序这些一错就难查的东西，全部压到 C++ 那一层由类型系统兜住。 kernel 在这里是独立的一等子系统，有可移植的公开 API、集中的注册与选择模型，还留了插件机制去接异构加速器。其中 MLA 是它重点宣传的部分，声称是 Blackwell 上针对 agentic 场景最快的实现之一。 从 News 的节奏看，Kimi K3、Qwen3.8、GLM 5.3 Flash、Inkling 的 FP4 推理都是 Day 0 支持，NVIDIA 和 AMD 两边同时在给硬件和工程支持，背后是非营利的 LightSeek Foundation，不绑任何一家厂商。 前提也要说清楚：它的性能叙事建立在 B200、GB300、MI355X 这类数据中心卡上，本地单卡用户受益有限；README 本身信息很薄，大半是外链，真要上手得去官方文档翻 getting started 和 model recipes。 今日 +374 star · Python · 总计 2,668 #LLM #inference https://github.com/lightseekorg/tokenspeed

曝光 23 · 评论 0 · 点赞 0 · 书签 0