一个 2.78 万亿参数的模型，搁 8GB 内存上跑起来——听着是不是有点天方夜谭？可这个项目偏偏就在折腾这事。 推理引擎纯 C99 手写，BLAS、框架、… · @Manorgw · TwKit

@Manorgw

一个 2.78 万亿参数的模型，搁 8GB 内存上跑起来——听着是不是有点天方夜谭？可这个项目偏偏就在折腾这事。 推理引擎纯 C99 手写，BLAS、框架、GPU 一概不靠。权重约 1.56TB，实测峰值内存约 8.24GB，引擎本体才 176KB。 代价也直白：内存给得越少，跑得越慢。 ① 8GB 内存：约 26.5 秒/token ② 128GB+：约 5.6 秒/token ③ 两种配置生成结果一模一样，差的就是等多久 更像是一场极限推理实验，想研究超大模型怎么在普通硬件上跑起来的，源码可以翻翻。 🔗 https://github.com/FareedKhan-dev/kimi-k3-in-c

曝光 70 · 评论 1 · 点赞 0 · 书签 0