推文

@fireandstart · 2026-10-13 09:04

这条进展最有意思的地方，不是“笔记本已经能顺畅跑 2.8 万亿参数模型”——0.29 token/s 显然还谈不上日常使用，而是它把过去被集群门槛挡住的完整模型，变成普通开发者可以亲自验证的对象。Deltafin 没有裁剪权重或跳过路由专家，M1 Max 上从 0.0141 提到 0.29 token/s，六天约二十倍，说明系统工程、内存调度和内核优化仍有很大空间。与此同时，1.7 TB 完整权重、215 GB 首次流式下载也提醒我们，“单机可运行”不等于成本低：带宽、磁盘、内存占用和等待时间都是真实门槛。接下来值得看的是同一硬件、同一精度口径下的稳定吞吐、长上下文表现、生成质量，以及不同任务的成本；还要区分演示跑通与可持续服务。若这些环节继续改善，价值会先体现在研究复现和边缘部署，而非立刻取代集群推理。开源代码与 OpenAI 兼容接口则降低了试用成本，也让更多人能独立复核这组数字。

曝光 34 · 评论 2 · 点赞 1 · 书签 0 · 曝光/时 8.062426403736263