卧槽，兄弟们 763B 参数的 DeepSeek V4.1 Flash 1017，原版在安全测试集上动不动就跳出超过 85% 的拒答率。 AtomicCha… · @boniusex · TwKit

@boniusex

卧槽，兄弟们 763B 参数的 DeepSeek V4.1 Flash 1017，原版在安全测试集上动不动就跳出超过 85% 的拒答率。 AtomicChat 刚放出来的 GSQ-RCO 量化版直接把拒答率干到了 0.0%，连深度思考阶段的自我审查也一并清空，单张 12GB 显存配 64GB 内存就能在本地跑起来。 早先社区做去审查模型爱拿杂乱语料重训，把拒答洗掉的同时智商也跟着掉一截。 这回的做法聪明得多，384 个路由专家权重原封不动，只在写入残差流的稠密层上用强度 2.0 的正交投影切掉拒答方向。 实测下来 JailbreakBench 和 XSTest 拒答双双归零，KL 散度只有约 0.02，GPQA-Diamond 照样稳在 83.3%，MMLU 波动不到 1 分，AIME 数学推理也没掉点。 这么大块头的模型能塞进家用机，靠的是架构拆解和 Strata 引擎配合。 它自带的 Engram 巨型记忆表不用硬挤显存，直接搁在高速固态硬盘上按需流式读取。主干权重给了 121GB 的 IQ1_M、138GB 的 IQ2_XXS 和 155GB 的 IQ2_XS 三档，还挂着可商用的 MIT 协议。 我看了一眼部署细节，想冲的朋友先别光盯着 12GB 显存那行字热血上头。 眼下主线的 llama.cpp 还认不了独立的 Engram 文件，得自己去拉 Strata 源码编译，再从 ISTA-DASLab 仓库单独拖一份共享 Engram 表放到高速固态上，前后加起来硬盘起码得腾出两三百 GB 空间；启动后直接沿用原版模板和双 1.0 的采样参数就能跑，只是频繁走硬盘流式读取，吐字速度肯定没法跟纯显存方案比。 不过对平时在本地做红队测试、或者受够了模型思考到一半突然弹窗说抱歉无法回答的人来说，能拿一台高配台式机把 763B 级别的大家伙稳稳跑通还不伤脑子，这点编译折腾完全值回票价。 https://huggingface.co/AtomicChat/DeepSeek-V4.1-Flash-1017-Uncensored-GSQ-RCO-GGUF

曝光 168 · 评论 0 · 点赞 1 · 书签 0