字顺，不代表算对 Reddit 上有人在 ARM 服务器和 x86 虚拟机上，把 1-bit 量化模型的 CPU 输出跟官方 reference 对了一遍：… · @ai_fengshou · TwKit

@ai_fengshou

字顺，不代表算对 Reddit 上有人在 ARM 服务器和 x86 虚拟机上，把 1-bit 量化模型的 CPU 输出跟官方 reference 对了一遍：BitNet b1.58 跑 bitnet.cpp 主分支，x86 上文字看着挺顺，perplexity 却是 reference 的 6 倍，ARM 上直接吐问号 之前有人报过 issue，疑似 SiLU 和 ReLU² 那一串的问题 同场：Bonsai 1.7B 全对；最快的是 ik_llama.cpp 加 -rtr 参数 我只记住一句：别信眼睛，信 perplexity

曝光 156 · 评论 2 · 点赞 1 · 书签 0