我刚算了下 Claude Gpt这些前沿模型估计总参数 5-10 万亿这个量级（MoE），激活约 200B-1.2T。4-bit 量化后权重大约要 3-4T… · @Yaqi_777777 · TwKit

@Yaqi_777777

我刚算了下 Claude Gpt这些前沿模型估计总参数 5-10 万亿这个量级（MoE），激活约 200B-1.2T。4-bit 量化后权重大约要 3-4TB 内存。 自己部署需要 30 台左右 128GB 机器组成集群，光硬件成本 就得12-25 万美元（80-170 万人民币）。 我每个月花800订阅 就相当于租用一台百万级别的设备 还是很合适的 毕竟人家100万放银行 利息一个月也有3000

曝光 13 · 评论 1 · 点赞 1 · 书签 0