大家好，今天我们发布了 SGLang Omni v0.2.0。本版本共合入 134 个 PR，迎来 15 位新贡献者，首次贡献者共合入 17 个 PR。新增… · @GenAI_is_real · TwKit

@GenAI_is_real

大家好，今天我们发布了 SGLang Omni v0.2.0。本版本共合入 134 个 PR，迎来 15 位新贡献者，首次贡献者共合入 17 个 PR。新增腾讯混元 Hy-SimulMT 中英实时语音翻译、Qwen3-Omni Speculative Decoding 和 PersonaPlex 原生全双工，持续优化核心模型推理性能、流式播放与打断体验，并扩展硬件支持、Runtime 资源管理和 Voxt 语音输入能力。 1.交互式智能基建：PersonaPlex 新增原生全双工，Nemotron VoiceChat 支持可配置多会话容量；Session Graph 完善语音打断、播放进度确认、历史截断与逐词字幕同步，Qwen3-ASR 支持级联系统中的增量转写。 2. 实时语音翻译：新增腾讯混元 Hy-SimulMT-30B-A3B，支持中文 ↔ 英文双向语音翻译，实现流式音频输入与增量译文输出，已在单张 H200 上验证 BF16 推理与实时接口。 3. Speculative Decoding：Qwen3-Omni Thinker 新增 DFlash／EAGLE3，复用共享 draft worker 与多模态输入接口。 4. 性能上持续优化 Qwen3-ASR／TTS／Omni、CosyVoice3、MOSS-TTS、PersonaPlex 和 Nemotron，覆盖 prefill／decode 重叠、CUDA Graph、PackedDiT、reference encoding、采样与 kernel fusion。 5. 硬件上 MiniCPM-o 扩展至 Ascend NPU，覆盖图像、视频、语音与全双工；Intel XPU 新增 ARK-ASR Encoder Graph 和 Qwen3-TTS attention backend 自动选择；MOSS-TTS 在支持的 SM120 配置上启用 FlashAttention 4，并完善 Qwen3-ASR／TTS 的 NPU 执行路径。 6. Runtime 通过 warmup 后 GC freeze 和固定 compute 线程池，减少堆扫描开销与线程相关显存增长，完善 stage 故障上报、通信失败追踪、大 chunk 分片、会话超时与取消资源回收。 7. 原生 MLX 与 Voxt：原生 C++ runtime 新增 Voxtral TTS 和 MiniMax Music3，Music3 支持可选的串行 stage offload；Voxt 将本地识别、VAD 和说话人分离统一至 Native HTTP／WebSocket runtime，完善模型文件生命周期管理、应用内自动更新与 Homebrew 发布流程。

曝光 65 · 评论 0 · 点赞 0 · 书签 0