想把编程 Agent 搬回本机，先算内存账，别急着买大显卡。 PolyStrata 把模型分摊到内存和显卡，提供本地 OpenAI／Anthropic 兼容… · @vintcessun · TwKit

@vintcessun

想把编程 Agent 搬回本机，先算内存账，别急着买大显卡。 PolyStrata 把模型分摊到内存和显卡，提供本地 OpenAI／Anthropic 兼容 API，现有工具接入少折腾。仓库实测：8GB RTX 4070 笔记本配 32GB 内存，量化 Qwen3.6-35B-A3B 输出约 94–100 token/s。 代价也明确：新增模型仍属实验性，内存装不下模型时性能可能大跌。适合先跑自带基准，再决定是否替代云端调用。 https://github.com/VecSzn/PolyStrata

曝光 111 · 评论 3 · 点赞 2 · 书签 0