如果让我按 DeepInfer 的格式发公告： 今日正式发布生产级推理框架，单集群吞吐性能数据如下 集群规模：1 张 24G 卡 并发：1 个槽位 支持模型… · @wy_ones · TwKit

@wy_ones

如果让我按 DeepInfer 的格式发公告： 今日正式发布生产级推理框架，单集群吞吐性能数据如下 集群规模：1 张 24G 卡 并发：1 个槽位 支持模型：1 个，27B，64K 上下文 弹性伸缩：闲置几分钟自动释放显卡，给画图让路 冷启动：1 小时内都算正常，权重还在下 你家那套"生产级"，单集群几个槽位？

曝光 1 · 评论 0 · 点赞 0 · 书签 0