推文

@ygqz666 · 2026-10-18 00:27

模型跑起来以后，路由、监控和扩缩容也要有人管。ModelSphere 把这些环节接进同一套开源推理平台，底层可选 SGLang 或 vLLM，还提供图形控制台部署模型。 适合已有 Kubernetes 集群、准备把模型做成团队服务的人。入口是 GitHub 的 modelsphere/modelsphere。 接入可以分三步：先复制并修改集群环境配置，在 Helmfile 中注册并安装所需平台组件；再选择推理引擎和模型，用 Helm 或控制台部署；最后通过兼容 OpenAI 的接口接入应用。调用地址还要带上对应模型的路由前缀。 已有集群要先检查组件清单：默认配置包含网络、GPU 管理、调度和监控等组件，要在安装配置中跳过已有组件。执行前可用 make helm-diff ENV=你的环境名 预览改动，并确认 kubectl 指向正确集群。 项目采用 Apache 2.0 许可，v0.1.0 于10月15日发布。自动调参 AutoTune 仍处于预览阶段；服务器资源、所选模型的硬件要求和许可需要另行核对。 来源：ModelSphere 维护者，README、安装及配置文档、v0.1.0 发布页（2026-10-15；10月18日读取）。

曝光 7 · 评论 0 · 点赞 0 · 书签 0