推文

@GenAI_is_real · 2026-10-14 12:03

1. 显存管理和请求调度编排等、能提高服务整体吞吐 是的，这是 SGLang 生态的主要目的，为大规模 serving 做服务。这也是许多多模态公司/世界模型公司选择用 SGLang Diffusion/SGLang Omni 作为 infra init point 的原因，尽管听上去 denoise 是一个非常 compute bound 的事情，但是仍旧有 scheduling 问题可以解决； 2. 但单条推理不一定更快 很诚恳的来说，是的，MEGA Kenrel/MEGA Engine 是一个 最近非常火热的方向。某种程度上，我们的 SGLang Omni MLX 就是一个 MEGA Engine。我是不赞成在 MLX/Mac 上做 serving 的。在我看来，Mac 就应该做“单条推理的极限速度”。 @beirdu

曝光 334 · 评论 0 · 点赞 3 · 书签 1