英伟达把本地推理服务 Flare 开源了。思路很干脆：构建期吃 PyTorch 生态，真到了线上服务阶段，直接切到纯 Rust 写的 Helios 运行时，… · @Moblacksoil · TwKit

@Moblacksoil

英伟达把本地推理服务 Flare 开源了。思路很干脆：构建期吃 PyTorch 生态，真到了线上服务阶段，直接切到纯 Rust 写的 Helios 运行时，号称零 Python 开销。 据介绍，它瞄准的是 SM120/SM121（Blackwell）与 DGX Spark 这类紧凑设备，专啃长对话、工具调用和多轮 Agent 场景：内存提前静态规划、默认跑 FP8 KV Cache、外加 CUDA Graph 预捕获打底。仓库里已经备好了 DeepSeek 配方，拿 ignition 导出模型后，一条 flare run 就能拉起服务。 目前属于偏探索向的研究原型，主打开源协作。 https://github.com/NVIDIA/flare-local-inference

曝光 24 · 评论 1 · 点赞 4 · 书签 0