大家都在数 Trainium3 的 FLOPS，真正决定亚马逊能不能从英伟达手里抢走训练订单的，其实是一行代码：把 .to("cuda") 换成 .to("… · @ChuckBass14291 · TwKit

@ChuckBass14291

大家都在数 Trainium3 的 FLOPS，真正决定亚马逊能不能从英伟达手里抢走训练订单的，其实是一行代码：把 .to("cuda") 换成 .to("neuron")。 [01] 物理极限与底层架构突围 Trainium 在推理端已经站稳了。Anthropic 的线上推理和 RL Rollout 已经跑在 Trn2/Trn3 上。推理和训练对芯片的要求完全不同：推理端模型架构迭代慢，算子覆盖面窄，只要把少数几个热点 Kernel 打到极致，就能吃满 HBM 带宽。RL Rollout 本质上是海量 Decode，每个 Token 都要把权重和 KV Cache 从显存里完整读一遍，卡住它的是带宽，不是算力。 按公开规格算，Trn3 单芯片约 2.52 PFLOPS FP8，配 144GB HBM3e、4.9TB/s 带宽，每字节要摊约 500 FLOPs 才能把算力吃满。Decode 阶段远达不到这个计算密度，所以谁的每 TB/s 带宽成本更低，谁就占优。亚马逊不用付英伟达那约 75% 的毛利，单位带宽的 TCO 天然更低。这是 Trainium 先在推理端打开局面的物理原因。 训练是另一回事。研究员每天都在做架构消融实验，需要的是覆盖面极广的 API。过去 PyTorch/XLA 走 Lazy Tensor 抓图，没有真正的 Eager 模式，不支持 torch.distributed、DTensor、SimpleFSDP、DDP 这些原生接口，只能用树外的 XLA SPMD 接口凑合，代码里还得到处插 xm.step()。迁移一个 GPU 研究代码库，几乎等于重写训练循环。这才是 Trainium 被挡在训练市场外的真正原因，而不是硅片本身。 TorchNeuron 换了路线，改成原生 Eager 加 torch.compile。HF Accelerate 那种一层套一层的封装、Tier 2 实验室拿来当底座的 TorchTitan，现在都能跑。工程投入的力度从两个细节能看出来：一是用多达 8 万个物理核心专门跑自动化 CI；二是直接挖来了 Google TPU 软件栈的初创负责人，XLA、xprof 都是他从零带起来的。SemiAnalysis 评价 Neuron Explorer Profiler 已经好过英伟达和 AMD 的同类工具。 另外，MXFP8 首发不支持，先把 BF16 做好。这个取舍很清醒：做 MXFP8 的基本都是自带 Kernel 团队的 Tier 1 前沿实验室；机器人、生物、世界模型、自动驾驶这些长尾研究者主要用 BF16，这才是还没被吃下来的增量盘子。 [02] 商业壁垒与产业链利益重构 $NVDA 真正的护城河从来不只是 Blackwell 的算力，而是 CUDA 加上整个 PyTorch 生态带来的迁移成本。torch.accelerator 这层硬件无关接口一普及，迁移成本就从重写训练循环降到改一个设备字符串。这个壁垒不会一夜消失：还有大量库直接调用 torch.cuda.，SemiAnalysis 自己也踩到了 Bug，成熟度离 CUDA 还很远。但方向已经变了。 最难受的可能是 $AMD。ROCm 一直在讲的故事是"兼容 PyTorch、比英伟达便宜的第二供应商"。现在 AWS 直接在自家云上提供原生 PyTorch，还配了更好用的 Profiler，第二供应商这个位置开始被云厂商自研芯片抢走。MI 系列在 AWS 体系里的订单空间会被压缩。 谁在收钱？首先是 $TSM。不管谁家芯片胜出，3nm 和 CoWoS 产能都得排它的队，属于稳拿的收费站。其次是 HBM，$MU 和 SK 海力士按 GB 计价，ASIC 放量等于给 HBM 需求再加一条增长曲线。 互联这一层，$ALAB 和亚马逊签了认股权证，深度绑定 Trainium 的 PCIe/Retimer/Switch 供应链；$CRDO 的 AEC 铜缆也大量押在亚马逊的机架上。设计服务这一层，Annapurna 是自己做架构，外包后端设计的份额在 $MRVL 和世芯之间来回切换，这比 $AVGO 那种深度绑定的 XPU 模式更容易被替换，估值也应该打折。 这笔账的核心是毛利率剪刀差：英伟达约 75% 的毛利，在 AWS 体系里被换成了"晶圆加封装加 HBM 加设计服务费"的成本结构，省下来的钱，变成 AWS 云业务的利润率和更低的报价。 [03] 资本开支与终局推演 Reasoning 慢思考模型和 Agent 会带来两种完全不同的负载：一是长上下文的 Prefill，吃算力；二是成千上万步工具调用和 RL Rollout 产生的海量 Decode，吃带宽。两者在同一颗芯片上很难同时做到最优，所以 PD 分离（Prefill/Decode 分离部署）是必然方向。 未来 2~3 年，超大规模云的机房大概会分成这样几层：前沿预训练和 MXFP8/FP4 的大规模训练，继续用 $NVDA 的 NVL 机架；Prefill 用算力密集型集群；Decode、RL Rollout 和后训练，交给每 TB/s 带宽成本最低的自研 ASIC。现在 TorchNeuron 又把 Tier 2 实验室的 BF16 研究训练拉进了 Trainium 的地盘。 在单机架功率逼近 120kW、电网接入动辄排队数年的约束下，云厂商最稀缺的是"每兆瓦能产出多少 Token"。AWS 连液冷换热器都自研了 IRHX，就是要把芯片、机架、冷却这一整本 TCO 账握在自己手里。 亚马逊的打法是先从推理切入，再拿下 RL，然后用原生 PyTorch 吃掉长尾研究训练，最后才去碰前沿预训练，从下往上一层层渗透。英伟达的定价权不会突然崩掉，但最大客户自己开始造替代品，这已经发生了。 [04]权威信源与原文追踪 • 深度拆解出处：SemiAnalysis • 原文深度报告：https://newsletter.semianalysis.com/p/amazons-trainium-takes-a-strike-at • 全球极客热度：Hacker News 3 赞 / 0 条架构师长评

曝光 260 · 评论 5 · 点赞 3 · 书签 0