推文

@HYJsfn9h · 2026-10-16 18:49

816B 巨兽嫌推理太慢？NVIDIA 连夜送上加速外挂 DFlash 2 🚀💨 开源模型越做越大，本地推理卡成 PPT 怎么破？老黄团队迅速在 Hugging Face 放出 4.38B 专配草稿模型 DFlash 2！基于投机采样技术，配合 vLLM 平均每步直接接受 3.73 个 token，生成速度原地起飞，长程 Agent 编程写代码再也不用苦苦等待！ 开源基座配合顶尖推理工程优化，大模型落地应用的速度正在以周为单位进化！

曝光 147 · 评论 0 · 点赞 2 · 书签 0 · 曝光/时 194.8325127109024