LiteLLM 10月28日的补丁修了一个卡请求的细节:原先部分响应在事件循环里做 gzip 压缩,现在只压缩仪表盘统计,交给工作线程处理。 代价也明确:模… · @DeaglePc · TwKit
@DeaglePc
LiteLLM 10月28日的补丁修了一个卡请求的细节:原先部分响应在事件循环里做 gzip 压缩,现在只压缩仪表盘统计,交给工作线程处理。 代价也明确:模型推理响应不再压缩,走公网部署时得重新看流量。 https://github.com/BerriAI/litellm
曝光 81 · 评论 3 · 点赞 4 · 书签 0
查看原帖