AWS Machine Learning 介绍用 SageMaker HyperPod 检测分布式训练中的静默数据损坏

AWS Machine Learning 介绍了一套在 Amazon SageMaker HyperPod 上发现 silent data corruption 的方法。该方案为 PyTorch DDP 训练加入三类检查，分别捕捉 NaN/Inf、环回重算偏差和权重指纹不一致。触发后会把可疑 rank 映射到节点，并交由 HyperPod 替换故障硬件。作者称已在 4 台 ml.p5.48xlarge、32 张 H100 的集群上用软件注入故障验证。