一个 40B 参数的编码模型，每 token 只激活 2.5B，在 M4 Pro 上跑到 125 token/s。 • 稀疏 MoE，49 层里 47 层是… · @ai_super_niko · TwKit

@ai_super_niko

一个 40B 参数的编码模型，每 token 只激活 2.5B，在 M4 Pro 上跑到 125 token/s。 • 稀疏 MoE，49 层里 47 层是 MoE，每层 256 个路由专家选 6，外加 1 个共享专家 • Apache 2.0 权重，4bit 量化后约 23GB，Ollama、LM Studio、llama.cpp 都能跑 • 公司称 Eureka Machine 自动化研究系统参与了架构搜索、量化和 kernel 编写，四个月从零建成 本地编码模型这条线终于摸到了可用的速度门槛：解码速度只由激活参数决定，所以稀疏架构让"40B 的知识、2.5B 的算力账单"成立。 所有分数都是厂商自测且带脚注，别急着信。但"AI 造 AI"从论文走到可下载权重，这个跨度是实的。代码不能出楼的团队，现在有了一个能认真试的选项。

曝光 8 · 评论 0 · 点赞 0 · 书签 0