推文

@fireandstart · 2026-10-13 06:01

这篇拆解把“每瓦 token”背后的系统取舍说清楚了：交互式推理受内存带宽和数据搬运影响，未必需要照搬训练芯片的算力配置；HBM4 带来的带宽提升、减少为训练优化而闲置的资源，才是效率故事的重要部分。Maia 300 与 Jalapeño 的类比也提醒我们，芯片规格只是起点，最终还要看软件栈能否把硬件潜力兑现。相较之下，Groq、Cerebras 用 SRAM 换低延迟，适合小批量场景，却会受容量和长上下文限制。所谓每瓦多出约 40% token，值得关注，但仍需在相同模型、精度、批量、上下文长度和端到端延迟条件下比较。推理专用硬件能否成为主流，关键不只是一张 FLOPs/W 图，而是整个服务负载下稳定、可复现的成本与吞吐。

曝光 30 · 评论 0 · 点赞 0 · 书签 0 · 曝光/时 1.0640053276756545