推文

@daweifs · 2026-10-10 19:48

一个 AI 产品同时接了 GPT、Claude、Gemini，麻烦才刚开始！！！ 每家 API 格式不一样，Key 得分开管，费用得挨个查。哪天一家模型限流或者挂了，还得自己写代码切换。 最近翻到一个挺实用的开源项目 LiteLLM，GitHub 已经 6W+ ⭐️。 它相当于给各种大模型装了一个统一接口。 OpenAI、Claude、Gemini、DeepSeek、Bedrock，甚至自己部署的模型，都可以通过 LiteLLM 接进来。应用侧基本用同一套调用方式，想换模型不用到处改代码。 它的 Gateway 功能是一个特色。 比如你做了一个 AI 产品，同时用了好几个模型，可以在一个后台里管理 API Key、查看 Token 消耗、统计各个团队花了多少钱，还能给不同用户设置预算。 更省事的是自动 Fallback。 GPT 超时了，可以按配置切到 Claude；某家 API 限流了，就让备用模型顶上，不用每次出问题都去手动处理。 现在它还支持 MCP Gateway、负载均衡、日志和权限管理。 当然，如果只是自己写个小脚本，没必要搞这么复杂。 但如果已经在做 AI SaaS、Agent 平台，或者一个产品里同时调用好几家模型，我觉得 LiteLLM 很值得研究一下。 有个安全问题也得提醒：今年 3 月它有两个 PyPI 版本遭过供应链投毒。官方已经处理并更新发布流程，部署前最好检查版本和安全公告。 模型接得越多，这类统一管理工具就越省事。 仓库：https://github.com/BerriAI/litellm

曝光 360 · 评论 10 · 点赞 10 · 书签 2