使用Strata推理引擎部署本地大模型 · @ll685998568638 · TwKit

@ll685998568638

Strata 是专门优化大型 MoE 模型的推理引擎，通过 GPU、RAM、SSD 协同运行大型 MoE 模型。 GPU 存放高频调用的热点专家和核心计算模块，RAM 存放其他专家，SSD 提供权重存储,通过专家动态缓存减少数据读取，再利用

曝光 142 · 评论 4 · 点赞 5 · 书签 0