Decoupled DiLoCo 重做分布式训练的容错
1条摆在这一期1个信源1个分节1条收进刊期
本期导语
本周（4 月 20 日至 26 日）AI 端一条精选落在训练基础设施。Google DeepMind 发表论文提出 Decoupled DiLoCo，把大规模训练解耦为相互隔离的计算孤岛、以异步数据流相连，使局部硬件故障不再拖垮全局，并用混沌工程实测其在整支 learner unit 掉线后续训、上线时再整合；跨数据中心带宽需求比传统方法低几个数量级，最终精度不降。
本期看点
训练基础设施
训练基础设施
Google DeepMind 提出 Decoupled DiLoCo：在 Pathways 与 DiLoCo 之上，把训练切成异步的计算孤岛（learner units），硬件故障被隔离、其余部分继续学习。以 Gemma 4 实测，故障时学习集群可用性高于传统方法、最终基准精度持平，跨数据中心带宽需求低几个数量级。
DeepMind 提出 Decoupled DiLoCo：把训练切成互相隔离的计算孤岛，异步低通信跨数据中心训练、单点芯片故障不拖垮全局Google DeepMind（署名 Arthur Douillard 与 DiLoCo 团队）在新论文中提出 Decoupled DiLoCo（分布式低通信）：把大规模训练解耦为多个相互隔离的计算孤岛（learner units），彼此以异步数据流相连，从而把局部硬件故障的影响隔离开来，让系统其余部分继续高效学习。它构建在此前的 Pathways（基于异步数据流的分布式 AI 系统）与 DiLoCo（大幅降低分布式数据中心间带宽需求）之上，用 Pathways 实现跨孤岛的…其它期 ↗本期刊物按 2026 年第 17 周 这一期的时间窗整理生成，范围是当前工作区发布的这一份内容包；条目版权归原作者与信源所有。