如果以这个性能为基准, 假定每个用户可以接受 50 token/秒的速度, 全球有 3 亿(300M)并发用户, 那么, 全球一共需要多少 GW 推理算力?… · @chaojidigua · TwKit

@chaojidigua

如果以这个性能为基准, 假定每个用户可以接受 50 token/秒的速度, 全球有 3 亿(300M)并发用户, 那么, 全球一共需要多少 GW 推理算力? 每 MW 可以支持 300 万(3M)用户. (300M / 3M) * MW = 100MW. 全球 3 亿并发用户一共需要 0.1 GW 推理算力. 假定 1GW 推理算力的建设成本是 600 亿美元, 每年折旧 25%, 那么, 0.1GW 推理算力的成本是 15 亿美元. 假定电费是建设成本的 10%. 0.1GW 每年电费 6 亿美元. 3 亿并发用户至少可以承受 10 亿订阅用户. 也就是说, 每个订阅每年的成本是 2.1 美元. AI to C 的营业额将接近零. === 来自 Muse Spark Open 的结果，Meta 最新发布的 816B（42B 活跃）开源权重模型，现已在 AA-AgentPerf 上线。在我们的初步测试中，该模型在 4x NVIDIA GB300 或 B300 GPU 上，每兆瓦功率可达到约 150M tokens/s 的吞吐量。

曝光 96 · 评论 2 · 点赞 0 · 书签 0