同样的大模型，为什么换套运行软件就能快这么多？ 11 月 2 日，开源项目 SGLang 发布 v0.5.23，官方公布了几组性能数据： > DeepSee… · @manongfu · TwKit

@manongfu

同样的大模型，为什么换套运行软件就能快这么多？ 11 月 2 日，开源项目 SGLang 发布 v0.5.23，官方公布了几组性能数据： > DeepSeek-V4.1 在 NVIDIA GB300 上，处理输入内容的吞吐量最高达到原来的 1.5 倍 > DeepSeek-V4.1-Flash 的单用户生成速度，在 GB300 上最高提升 44%，在 AMD MI350X 上最高提升 75% 怎么做到的？🤔 简单说，是优化 GPU 运行模型的方式。 > 利用 CUDA Graph 减少重复调度； > 通过融合式计算内核，减少执行过程中的额外开销。 有两个感悟： 1\ 大模型的性能竞争，不只是模型本身的竞争。 同样的模型，也可能因为运行软件不同，产生明显的效率差距。 2\ 推理效率提升，也可能意味着 AI 服务成本下降。 同样的硬件，如果能处理更多请求，服务商就有机会降低单位成本。 （又为OpenCode、Command Code 能超额提供额度带来了支撑； 但是，仍然非常夸张！）

曝光 35 · 评论 4 · 点赞 1 · 书签 0