vLLM 0.33.0 新加的模型，要看总参数和激活参数差了多少。 • Reflection Beam-1.0 总共 501B，是 MoE，每个 token… · @iluciddreaming · TwKit

@iluciddreaming

vLLM 0.33.0 新加的模型，要看总参数和激活参数差了多少。 • Reflection Beam-1.0 总共 501B，是 MoE，每个 token 只激活 23B，还配了 DFlash2 草稿模型。 • Recursive Flint 也是 MoE，40B 只激活 2.5B。 • 激活参数小，省的是算力，显存省不了。501B 的权重照样得整份装下，本地部署先卡在显存上。 • 升级前先查环境：官方 wheel 和镜像只剩 CUDA 13.0，cu129 镜像停了，PyTorch 也升到了 2.14.0。

曝光 128 · 评论 1 · 点赞 0 · 书签 0