Mission Control 2.5：训练中断后，谁来接手 · @AasenVS · TwKit

@AasenVS

一项分布式训练跑到半夜，进度突然停住。屏幕上可能只有超时、某个进程退出，或者迟迟不变的吞吐量。接下来最费精力的，往往是判断：换一批机器重跑，还是先查程序？如果重启后又落到同一台问题节点上，等待就会重新

曝光 46 · 评论 1 · 点赞 1 · 书签 0