🤯 12GB 显存也能运行超大 MoE 模型？这个开源项目正在尝试把服务器级 AI 搬到普通 PC 上。 Strata：一个本地 AI 推理引擎，同时支持聊… · @superfang119 · TwKit

@superfang119

🤯 12GB 显存也能运行超大 MoE 模型？这个开源项目正在尝试把服务器级 AI 搬到普通 PC 上。 Strata：一个本地 AI 推理引擎，同时支持聊天、编程和图像理解。 它最特别的地方，是把 GPU、系统内存和 SSD 组合起来运行大型模型，而不是要求所有权重都塞进显存。 重点看 4 个能力： 🧠 1. 本地运行超大模型 支持 Qwen3.8-Flash-Next、Qwen3.6-35B-A3B，以及 DeepSeek V4.1 Flash。 DeepSeek 采用 SSD 按需读取模型数据，不需要把全部专家权重装进显存。 ⚡ 2. GPU + CPU + SSD 协同推理 GPU 缓存高频使用的专家，RAM 保存模型专家，SSD 存放大型查找表。 还支持 MTP 推测解码，让小型预测模块先猜，大模型再验证，提高生成速度。 💻 3. 不只是聊天软件 提供 Windows、Linux、macOS 桌面应用，也能在终端运行。 支持 Claude Code、Codex CLI、OpenCode、Hermes Agent、OpenClaw 等编程工具，通过兼容 API 接入本地模型。 👁️ 4. 支持视觉和多种硬件 支持 NVIDIA RTX 20–50 系列、AMD Radeon、Intel Arc、Apple Silicon，以及 AMD Strix Halo 等平台。 适合谁用？ 想在自己的电脑上运行大型 MoE 模型、搭建本地 AI 编程 Agent，或者减少云端 API 依赖的开发者。 🔗 GitHub： https://github.com/Niko1221/Strata ⚠️ 两个实际门槛： DeepSeek V4.1 Flash 的模型文件约 239–274GB，需要 245–280GB 左右的空闲磁盘；12GB 显存还需要至少约 46GB 系统内存。 SSD 卸载不是免费加速，显存越小、SSD 越慢，推理速度越容易受到影响。 #Strata #本地大模型 #DeepSeek #Qwen #AI编程

曝光 90 · 评论 0 · 点赞 0 · 书签 0