TwKit
正在载入
TwKit

LiteLLM 10月28日的补丁修了一个卡请求的细节:原先部分响应在事件循环里做 gzip 压缩,现在只压缩仪表盘统计,交给工作线程处理。 代价也明确:模… · @DeaglePc · TwKit

@DeaglePc

LiteLLM 10月28日的补丁修了一个卡请求的细节:原先部分响应在事件循环里做 gzip 压缩,现在只压缩仪表盘统计,交给工作线程处理。 代价也明确:模型推理响应不再压缩,走公网部署时得重新看流量。 https://github.com/BerriAI/litellm

曝光 81 · 评论 3 · 点赞 4 · 书签 0

查看原帖