378MB 的模型，0.5 秒就把数学题做错了。 昨晚手痒，把 Qwen3 家最小的 0.6B 拖到我 4 核云主机上亲手跑了一遍。Q4_K_M 量化，权重… · @ReignSwords · TwKit

@ReignSwords

378MB 的模型，0.5 秒就把数学题做错了。 昨晚手痒，把 Qwen3 家最小的 0.6B 拖到我 4 核云主机上亲手跑了一遍。Q4_K_M 量化，权重 378MB，Ollama 纯 CPU，Apache 2.0 免费。 账本先摆出来： - 首次加载 10.9 秒，实际内存占约 1GB（含 4096 上下文） - 开思考模式（默认）：约 20 token/秒，但 200 token 的预算里 150+ 全被思考过程吃掉了。翻译题想完没翻，代码题想完没写，数学题想完没给答案——5 道题 3 道有想无答 - 关思考（think: false）：数学题 0.5 秒出答案，代码题 1 秒写对，自我介绍 0.6 秒。快是真快 然后是翻车：那道"甲 6 小时乙 4 小时"的数学题，关思考后它 0.5 秒自信满满地回答：9。正确答案 2.4 小时。开思考模式呢？它把 1/6+1/4 都算对了，然后预算用完，答案没出来。 夸：是真快真便宜，378MB 塞手机都行，离线不联网，简单改写分类提取闭眼用。 骂：0.6B 开思考就是话痨自杀，关思考就是纯条件反射——代码这种肌肉记忆题 1 秒写对，数学这种要动脑子的直接翻车。 一句话：小模型的"小"是实验室的"小"，不是能力的"小"——它快，但它不聪明。 复现命令和关思考的关键参数我放评论区了，想自己跑的直接抄。 玩本地模型、折腾边缘部署的朋友互关一个，一起交流 AI 与科技。你觉得 0.6B 这种量级最适合干啥——塞手机里当离线助手，还是纯玩具？评论区报个数，你手机里现在装着几个本地模型？ 🔵 蓝V互关 | Fellow Premium members, let's connect! 欢迎互关，一起交流 AI 与科技 👥

曝光 136 · 评论 10 · 点赞 2 · 书签 0