小路带你看大厂架构｜Reflection Beam 上云首日，Google Cloud 把推理再推高出 5 倍 Reflection 刚发布开源权重模型 B… · @Zen_with_AI · TwKit

@Zen_with_AI

小路带你看大厂架构｜Reflection Beam 上云首日，Google Cloud 把推理再推高出 5 倍 Reflection 刚发布开源权重模型 Beam：约 501B 总参数，每 token 只激活约 23B，上下文约 1M token，Apache 2.0 协议，BF16、FP8、NVFP4 checkpoint 齐发。它用比同类开源模型少 3 到 4 倍的推理 token 解出同样的问题。 模型省 token 只是第一层。Google Cloud 发布当天给出 Day-0 支持，用 llm-d（vLLM）和 NVIDIA Dynamo（SGLang）在 AI Hypercomputer 上跑 Beam。相对同硬件基线，A4X Max（GB300 NVL72）吞吐最高 5 倍、延迟低 8 倍；G4（RTX PRO 6000）吞吐最高 2 倍、延迟同样低 8 倍（客户 benchmark 口径）。 为什么需要系统层优化？多轮 agentic 编码里，每轮都带上越攒越长的上下文。无状态轮询会把第 15 轮发到和第 14 轮不同的副本上，迫使对方从头重算整个历史 prompt；KV cache 塞满 HBM 后被驱逐，命中率一掉，吞吐就卡住。 解法是三件套：KV-cache-aware 路由把同一会话的后续轮次钉在持有热 KV cache 的副本上；Prefill/Decode 分离让重 prompt 突发不阻塞 token 生成；分层 KV cache把被驱逐的 KV 块下沉到 Host DRAM 和 Local SSD，毫秒级取回而不是重算。Manifest、路由配置和 benchmark 脚本都已开源。 https://cloud.google.com/blog/topics/ai-infrastructure/day-0-support-with-5x-perf-for-reflection-beam-on-google-cloud

曝光 194 · 评论 0 · 点赞 0 · 书签 1