别再拿显存当借口了。 开源引擎 Strata 昨天发了 0.2.10：8GB 显存的显卡也能跑满 128K 上下文。办法不玄，把 KV 缓存挪到内存里，代价… · @neuronxwhite · TwKit

@neuronxwhite

别再拿显存当借口了。 开源引擎 Strata 昨天发了 0.2.10：8GB 显存的显卡也能跑满 128K 上下文。办法不玄，把 KV 缓存挪到内存里，代价是你得有 32 到 64GB 内存。这项目 9 月底才建库，MIT 协议，五周冲到 3.8 万星，5600 多次提交。 它主推把 Qwen3.8-Flash-Next 这个 125B 的 MoE 模型搬到家用电脑上，Windows 和 Linux 一键安装，本机起一个兼容 OpenAI 和 Anthropic 的 API，聊天、写代码、看图都能干。新版默认开了 DFlash2 投机解码，生成速度再快 1% 到 12%。 我的看法：本地模型的瓶颈正在从显存换成内存，下一个卡人的是办公本那 16GB。在意隐私的人，现在多了一个不用妥协的选项，这点比跑分有意思。 https://github.com/Niko1221/Strata 你站哪边：日常 AI 就该搬到本地跑，还是云端更强的模型仍然值得你把数据交出去？

曝光 128 · 评论 2 · 点赞 2 · 书签 1