自建推理栈——DeepInfer 基于 vLLM,迁移成本比想象中低;先在非核心流量上跑起来,账单立减。 补充:代码在 https://github.com… · @0xopencitizen · TwKit
@0xopencitizen
自建推理栈——DeepInfer 基于 vLLM,迁移成本比想象中低;先在非核心流量上跑起来,账单立减。 补充:代码在 https://github.com/deepseek-ai/DeepInfer;配套 tokenizer 叫 deepseek-recipe;18 个月前(2025 年 4 月)DeepSeek 还发文说过不开源完整推理引擎,这次是转弯;发布当天约 5.5k star、415 fork。
曝光 7 · 评论 0 · 点赞 0 · 书签 0
查看原帖