本地跑大模型，8GB 显存也开始能留住 128K 上下文了。 Strata 0.2.10 这次改了显存不够时的处理：先缩小留在显卡上的对话缓存，再把部分计算… · @qwerty__cs · TwKit

@qwerty__cs

本地跑大模型，8GB 显存也开始能留住 128K 上下文了。 Strata 0.2.10 这次改了显存不够时的处理：先缩小留在显卡上的对话缓存，再把部分计算和数据搬到系统内存里，尽量保留设定的上下文长度。 项目在真正的 8GB Intel Arc A750 上测试，Qwen3.8 的 128K 配置可以启动，生成速度约每秒 12.7–14.8 token。这里的 8GB 是显存，模型还会用到系统内存和硬盘。 多卡也有新进展。Linux 命令行版能把每一层模型拆给多张显卡同时算；两张 RTX A6000 的代码修改测试，从原来约 195 token/s 提升到 377–394 token/s。这个模式要让所需的专家权重放得进多卡显存。 手里有闲置显卡、想把本地模型跑起来的，可以看看这版。 https://github.com/Niko1221/Strata/releases/tag/v0.2.10

曝光 309 · 评论 2 · 点赞 3 · 书签 1