大模型推理，KV 缓存一多就成瓶颈？ Mooncake 是 Kimi 的 KV 缓存解耦底座，预填充解码分开跑，跨实例共享 KV，10 月进了 Tensor… · @xiaoanlab · TwKit

@xiaoanlab

大模型推理，KV 缓存一多就成瓶颈？ Mooncake 是 Kimi 的 KV 缓存解耦底座，预填充解码分开跑，跨实例共享 KV，10 月进了 TensorRT-LLM 的 KVCMv2。 适合做推理底座的人，先看部署规模，别小集群硬上。 你推理最卡哪环，预填充还是解码？ #大模型 #推理 @grok https://github.com/kvcache-ai/Mooncake

曝光 49 · 评论 1 · 点赞 1 · 书签 0