PagedAttention 这个名字现在比 vLLM 本身更有名，但真正值得看的，是它这两年把多少零散的推理优化变成了默认值。 它最早是 UC Berke… · @kafkaup · TwKit

@kafkaup

PagedAttention 这个名字现在比 vLLM 本身更有名，但真正值得看的，是它这两年把多少零散的推理优化变成了默认值。 它最早是 UC Berkeley Sky Computing Lab 的研究项目，核心想法是把注意力的 K/V cache 按页管理，像操作系统管内存那样避免碎片。现在仓库的贡献者超过 2000 人，来自几十所高校和公司，已经不算一个实验室产出了。 你自己拿 transformers 搭服务要补的那些东西，它基本都在里面：连续批处理、chunked prefill、前缀缓存、FP8 到 INT4 的各种量化路径、n-gram 和 EAGLE 这类投机解码、tensor/pipeline/data/expert/context 五种并行方式，以及 prefill、decode、encode 的分离部署。注意力和 MoE 内核接了 FlashAttention、FlashInfer、FlashMLA、CUTLASS 这些实现，由 torch.compile 做图层变换。 对外是一个 OpenAI 兼容的 API server，另外也支持 Anthropic Messages API 和 gRPC，结构化输出走 xgrammar 或 guidance，工具调用和 reasoning parser 都有。模型侧覆盖 200 多种架构，从 Llama、Qwen 到 DeepSeek-V3、GPT-OSS、Mamba 混合模型，再到 embedding 和 reward 模型。硬件上除了 NVIDIA/AMD/Intel GPU 和 CPU，还有 TPU、Gaudi、Ascend、Apple Silicon 等插件。 要说代价，摊子大了之后配置面也大，量化方案、内核后端、并行策略之间的组合不是每一条都同样成熟，硬件插件更是如此，上生产前最好对着文档确认你那条路径的状态。如果只是本地跑个小模型做单次推理，llama.cpp 这类反而更省事；真要撑住并发请求，vLLM 仍是默认答案。 今日 +439 star · Python · 总计 94,824 #vLLM #LLM https://github.com/vllm-project/vllm

曝光 83 · 评论 0 · 点赞 0 · 书签 0