2.78 万亿参数，单 CPU，8.24GB 内存——kimi-k3-in-c 这项目看着就离谱。 可移植 C99 代码只用了 176KB，BLAS、PyT… · @tantanyuli · TwKit

@tantanyuli

2.78 万亿参数，单 CPU，8.24GB 内存——kimi-k3-in-c 这项目看着就离谱。 可移植 C99 代码只用了 176KB，BLAS、PyTorch、CUDA 一概不依赖，GPU 也用不着。 1.56TB 的模型检查点放在 NVMe 上，只激活部分 MoE 专家，其余参数按需加载，不必全塞进内存。 8GB 内存下生成一个 Token 大约要 26～32 秒，所以目前更像技术验证，而非日常聊天工具。 最有意思的是：内存预算不同，速度会变，输出结果却能保持字节级一致。 代码也很精简，源码树只有约 45MB。 🔗 https://github.com/FareedKhan-dev/kimi-k3-in-c

曝光 175 · 评论 3 · 点赞 3 · 书签 0