TwKit
正在载入
TwKit

🫨绝了啊!有人把完整CPU + 另一个LLM塞进Qwen3.5-4B权重里,还跑出了故事! 有人用Qwen3.5-4B做了件疯狂的事:直接把完整32位RIS… · @NFT_Chen · TwKit

@NFT_Chen

🫨绝了啊!有人把完整CPU + 另一个LLM塞进Qwen3.5-4B权重里,还跑出了故事! 有人用Qwen3.5-4B做了件疯狂的事:直接把完整32位RISC-V CPU编译进模型权重,再用它跑出另一个LLM(Karpathy的stories260K)。 全程在模型自己的forward pass里完成,零外部运行时、零工具调用,数学精度直接从55%干到97.5%+,还是bit-exact的。 核心亮点: 🔹CPU硬核嵌入:11层编译出来的RV32IM(+Zba+大数单元)直接塞在Qwen前面,权重全是编译器算出来的,没训练。 🔹RAM就是模型自己:用Gated DeltaNet状态当精确可读写的RAM,寄存器、PC、栈全在里面。 🔹从CPU进化到NPU:QwenPU进一步编译了向量单元(矩阵乘、softmax、注意力),把stories260K当成C程序跑在Qwen内部,权重也存在DeltaNet里。 🔹效果炸裂:DeepMind大数乘法55% → 97.5%,部分甚至超过带Python工具的基座;全链路bit-exact,230k+步零误差。 🔹完全开源:代码MIT,权重Apache-2.0,可直接加载。 快速上手步骤: 1️⃣克隆代码
git clone https://github.com/divagr18/qwenputer(CPU版)或 https://github.com/divagr18/QwenPU(跑LLM版) 2️⃣装依赖 + 下权重
cd experimental/riscv && uv sync --extra hf hf download divagr1925/Qwen3.5-4B-Qwenputer --local-dir qwenputer-rv 3️⃣直接问它算数
uv run python -m http://chipformer.rv.chat qwenputer-rv \ --firmware tests/data/rv/calc-bridge.elf \ --ask "Use calc: what is 123456789 * 987654321?" 4️⃣想看LLM inside LLM:切到QwenPU仓库跑 http://storyrun.py,直接看stories260K在Qwen内部写故事。 冲击力总结:这不是工具调用,不是插件,是真的把一台计算机+小模型编译进另一个大模型的权重里,然后让它自己跑。未来是不是可以无限套娃? 
GitHub(CPU):https://github.com/divagr18/qwenputer
GitHub(QwenPU):https://github.com/divagr18/QwenPU
HF权重:https://huggingface.co/divagr1925/Qwen3.5-4B-Qwenputer
 #Qwen #Qwenputer #LLM #RISCV #AI #开源 #黑科技 #Karpathy https://x.com/nft_chen/status/2115433185479950699?a=J9C5E3xb39nO51JpOgE&s=46 https://x.com/divagr1925/status/2116544960023687432/video/1

曝光 712 · 评论 7 · 点赞 13 · 书签 9

查看原帖