推文

@Zen_with_AI · 2026-10-16 07:37

小路带你看大厂架构｜Netflix：让 GPU 集群扛住数周长训练 Netflix 的推荐、生成式 AI 素材、创作工具都重度依赖 GPU。一个大型训练任务能跑数周、跨数百块 GPU，以 gang 方式同步推进：各 rank 锁步，整体速度等于最慢的参与者，任何一个参与者死亡，整个任务停摆。 云厂商的实例级检查只确认机器存活，不管每块 GPU、互联和网络结构是否真能支撑分布式训练。驱动能响应查询，不代表持续计算时不出错；网卡存在，不代表链路数够、集合通信能跑满带宽。 Netflix 的解法分四层：节点与硬件健康、调度器与平台、训练循环、可观测性。 健康检查每 30 秒跑一次，基于 node-problem-detector 的 agent 把结果转成 Kubernetes node condition；GPU 检查用 NVIDIA DCGM，看驱动错误码、不可纠正内存错误、互联完整性、热状态；网卡检查数 EFA 接口数量和链路状态。检查是 fail-closed：驱动或工具无响应，超时即判不健康；还留了直接读 dmesg 抓 Xid/SXid 的回退路径。新机器必须通过两轮检查才摘 taint，分配前再跑一分钟集合通信测试。 故障处置分级：problem condition 只拦新工作；超容忍窗口仍持续，升级为 failure condition，疏散、drain、终止替换。动作按故障匹配：杀任务、重置单块 GPU、重启机器、整机替换——替换最慢，只留给确认的硬件故障。坏 GPU 的不可变硬件标识会被记录，防止它以新实例身份悄悄回来。 结果：GPU 节点可用性持续超 99.95%，作业成功率从约 98% 升到 99.5% 以上。衡量标准是 goodput：被慢 GPU 拖住的任务在 uptime 图上看起来健康，实际几乎没有进展。 https://netflixtechblog.com/reliable-gpu-compute-for-large-training-inference-jobs-d62b03a96d7a

曝光 633 · 评论 1 · 点赞 2 · 书签 5 · 曝光/时 512.8611391044902