推文

@bkdgiffug · 2026-10-16 04:07

只有 12GB 显存，也能挑战千亿参数大模型？ 这个开源项目 Strata 有点意思。 它主打在家用电脑上运行量化版 Qwen3.8-Flash-Next，支持 NVIDIA、AMD 显卡，以及 Windows、Linux，模型在本地运行，数据不必交给云端服务。 作者公布的测试配置是 RTX 5070 12GB、Ryzen 5 7600 和 64GB 内存： ① Q2_0 量化：短对话生成约 94 token/s ② IQ3_S 量化：短对话生成约 53 token/s ③ 社区优化版本另有更高的输入处理速度测试，但属于不同配置和优化条件，不能直接横向比较。 它的思路是利用 MoE 模型每次只激活部分专家的特点，结合显存、系统内存和 CPU 来调度模型数据。 不过，能启动不等于所有场景都流畅。 内存容量、量化等级、上下文长度都会影响速度和效果。项目给出的配置建议是至少 32GB 内存，64GB 更稳妥，磁盘还需预留约 80GB 空间。 想把本地 AI 玩出新花样的，可以研究一下，最好用自己的任务实测。 🔗 GitHub：https://github.com/Niko1221/Strata

曝光 197 · 评论 2 · 点赞 0 · 书签 1 · 曝光/时 46.974256952406265