Kimi K3.1 Pro 完整模型权重已经正式开放，但想在国内自己部署，硬件成本会劝退99%人😂 这次放出的是一个总参数 2.8T、激活参数 104B 的… · @Vincent_AINotes · TwKit

@Vincent_AINotes

Kimi K3.1 Pro 完整模型权重已经正式开放，但想在国内自己部署，硬件成本会劝退99%人😂 这次放出的是一个总参数 2.8T、激活参数 104B 的 MoE 模型，已经采用 MXFP4 量化，完整权重依然高达 1.56TB，共 96 个 Safetensors 文件。 如果想把官方权重完整加载到 GPU 显存中： 8 张 H100 80GB：640GB，装不下。 8 张 H200 141GB：约 1.13TB，装不下。 8 张 B200 180GB：约 1.44TB，还是装不下。 比较现实的方案是 8 张 B300 288GB，总显存约 2.3TB。 不过这只是容量上比较充足，具体部署性能还需要实测。 但问题是，国内 B300 现在到底有多贵？ 根据《财经》10 月 10 日的报道，一台 8 卡 B300 服务器： 4 月报价：550 万～700 万元。 9 月报价：突破 1500 万元。 10 月深圳非官方渠道的现货报价：超过 1700 万元人民币！ 而美国市场同类服务器的参考价格约为 55 万美元，折合人民币约 367 万元。 相当于国内部分渠道报价达到美国参考价格的 4.6 倍左右。当然，这些只是非官方渠道的报价，不代表实际成交价格。 那如果真花 1700 万买一台服务器，自己部署 Kimi K3.1 Pro，再通过卖 API 赚钱，要卖多少才能收回成本？ 按照 Kimi 官方 API 定价： 每百万输入 Token：13 元。 每百万输出 Token：68 元。 假设客户平均每消耗 500 万输入 Token，就会产生 100 万输出 Token，而且输入没有享受缓存折扣。 这样一组 600 万 Token 的调用量，营业收入只有 133 元。 要收回 1700 万元的服务器成本，理论上需要累计卖出： 约 6391 亿输入 Token。 约 1278 亿输出 Token。 合计约 7669 亿 Token！ 如果计划三年收回硬件成本，平均每个月至少需要 47.2 万元的营业收入。 换算下来，相当于服务器三年内每天 24 小时持续产生付费流量，平均每秒卖出约 1350 个输出 Token，同时还得产生对应的输入 Token 收入。 这还只是整台服务器需要达到的平均有效付费吞吐量，不代表 8 卡 B300 已经实测能够稳定达到这个水平。 而且以上都还没算电费、机房、网络、运维、税费以及服务器闲置的损失。 如果改成租赁，Mysteel 披露的国内部分 8 卡 B300 长期租赁报价约每月 32 万～37.5 万元，按这个价格计算，一年租金就是 384 万～450 万元。 更尴尬的是，你卖的 API 还要直接和 Kimi 官方竞争。 官方可以利用大规模集群、缓存以及统一调度降低单位推理成本，你花上千万元买一台服务器，未必能做出同样的价格和性能。 所以现在的问题已经不只是能不能跑起来，而是花上千万元把模型部署起来之后，究竟需要多少客户，才能把钱赚回来？ 月之暗面愿意把这种规模的模型权重开放出来，确实值得肯定。 只不过，模型权重开放了，国内高端算力的价格却依然贵得离谱😂 🔗 https://huggingface.co/moonshotai/Kimi-K3.1-Pro

曝光 704 · 评论 0 · 点赞 2 · 书签 0