这波实用。 vLLM 0.32.0：814 个提交、363 位贡献者。新开了 /v1/systemone 结构化决策接口，KV 缓存全面支持 NVFP4、F… · @Daviswh · TwKit

@Daviswh

这波实用。 vLLM 0.32.0：814 个提交、363 位贡献者。新开了 /v1/systemone 结构化决策接口，KV 缓存全面支持 NVFP4、FP8，ROCm 还能走 4-bit。 跑本地模型最常卡的是显存。这次主线直接往省显存和决策接口推，比再刷榜更有用。

曝光 26 · 评论 0 · 点赞 1 · 书签 0