推文

@vastplan · 2026-10-15 20:00

明天上市的 RTX Spark 笔记本，入门款很难跑起英伟达专门为它做的 74B 模型。 10 月 13 日，英伟达宣布 Nemotron 3.5 Bolt 74B-A9B 在 10 月 15 日发布，定位是在 RTX Spark 上跑本地智能体。官方写明，这个模型用 2-bit 量化加量化感知训练压到 24GB，权重、训练数据和训练配方全部开源。截至北京时间今晚 8 点，英伟达的 Hugging Face 账号上还没有出现这个模型。 问题出在内存上。微软 Surface Laptop Ultra 起售价 2599.99 美元，这一档只有 24GB 统一内存。统一内存要同时分给 Windows、正在运行的软件和模型，一份标称 24GB 的权重本身就和整机内存一样大，留给系统和上下文缓存的空间基本没有了。 我的判断是，74B 能压进 24GB，主要靠的是 2-bit 量化，而不是混合专家结构。混合专家让每个 token 只计算 9B 参数，所以速度快，但 74B 参数通常仍要全部放进内存。想在 RTX Spark 上真正用起来，应该从 32GB 起步：同样配 1TB 硬盘的 Surface，24GB 版是 2999.99 美元，32GB 版是 3299.99 美元，相差 300 美元。 还有一点需要注意，英伟达只说它比多数同等内存的混合专家模型更聪明，没有公布任何基准分数。2-bit 压缩损失了多少能力，要等权重放出后的第三方实测才能知道。打算买入门款跑本地智能体的人，下单前最好先把内存算清楚。 如果买 RTX Spark 跑本地模型，你会选 24GB、32GB 还是 64GB？

曝光 17 · 评论 1 · 点赞 1 · 书签 0 · 曝光/时 12.973563484988997