DeepInfer 技术拆解：DeepSeek 如何把推理做快 · @katcat_AI · TwKit

@katcat_AI

模型权重下载好了，为什么还跑不出厂商 API 的速度？ 因为权重只决定要算什么。一次请求等多久、多少请求能一起算、专家权重放在哪张卡、哪些中间结果值得保留，都要由推理系统安排。 DeepInfer

曝光 931 · 评论 5 · 点赞 6 · 书签 3