Sam 说家用电脑囤 DRAM 是"可怕的资源错配",我直接干到 100% 利用率 配置很普通:RX 9070 XT 16GB + 5800X3D + 64… · @BlockInsight214 · TwKit
@BlockInsight214
Sam 说家用电脑囤 DRAM 是"可怕的资源错配",我直接干到 100% 利用率 配置很普通:RX 9070 XT 16GB + 5800X3D + 64GB DDR4,离线跑 DeepSeek V4.1 Flash(1M 上下文) 痛点是每个新会话都要重读 37K token 的系统提示,首 token 前干等 100 秒 我给 Strata 的 DeepSeek 引擎打了两个补丁 KV splice:新提示和历史缓存对齐,只重读变化的行 resident-only routing:prefill 只用显存/内存里已有的专家,不从 SSD 拉 58GB 权重 新会话 100 秒 → 5 秒,快了 20 倍 新提示 22.8 秒 → 8.2 秒,SSD 读取从 58GB 掉到 1.3GB 硬核编码套件 12/13 的成绩一点没掉
曝光 120 · 评论 1 · 点赞 0 · 书签 0
查看原帖