早上起来看到了一个叫Qwenputer 的有趣的项目，他在LLM内部实现一个CPU和TPU模拟。 -他基于Qwen3.5-4B，并集成了一个 32 位 RI… · @alacheng · TwKit

@alacheng

早上起来看到了一个叫Qwenputer 的有趣的项目，他在LLM内部实现一个CPU和TPU模拟。 -他基于Qwen3.5-4B，并集成了一个 32 位 RISC-V CPU，该 CPU 被编译并直接插入到其权重中。它并非插件、工具或沙箱。该 CPU 位于 Qwen 自身权重的前面 11 个 Transformer 层，并且其权重均未经过学习：每个权重都由编译器计算得出（这样可以保障被精确计算，而不是像之前LLM靠预测，有随机性和不准确的问题）。 -利用模型自身的门控DeltaNet状态作为RAM。Qwen3.5的DeltaNet层携带一个运行状态，Delta规则可以一次精确地覆盖其中的一行，因此每一行都相当于一个内存单元。CPU将代码、数据、寄存器和程序计数器保存在该内存单元中。 -在此基础上实现了NPU，可以把神经网络计算（矩阵乘、注意力等）也“编译”进 Transformer 权重里，让一个大模型在自己内部精确执行另一个小模型，而不依赖外部运行时。 -如图，基准测试，做了Qwenputer大整数乘法、除法、多步运算等，普通 LLM 很容易算错。Qwenputer 在相关基准上能从 base Qwen 的 55–90% 提升到 97.5–100%，接近甚至达到调用外部 Python 解释器的水平。⁠ -意义，更多的是LLM架构的一种探索，让LLM内部可以实现精确计算，而不依赖LLM传统的预测架构，同时不依赖外部的环境程序调用。现在仍然是个探索的项目，值得关注 https://github.com/divagr18/qwenputer

曝光 422 · 评论 2 · 点赞 10 · 书签 6