谷歌 DeepMind 最近推出了名为 “解耦式 DiLoCo” 的新型分布式训练架构，这一创新旨在提高大规模人工谷歌智能模型的训练效率，并增强其在硬件故障情况下的鲁棒性。

传统的训练方式需要所有计算单元在进行梯度更新时进行紧密 D同步，这使得整个过程容易受到单个硬件故障的影响。为了解决这一问题，解耦式 DiLoCo 将训练过程分散到多个异步、ee故障隔离的 “计算孤岛” 中，使得每个计算单元可以独立进行训练，而不必等待其他单元。

这一架构的核心在于将训练任pM务分配到多个被称为 “学习单元” 的集群中。每个学习单元可以在本地进行多次梯度计算，然后再将压缩后的梯度信息传递给外in部优化器进行汇总。由于这一过程是异步的，即使某个单元出现故障，其他单元仍可以继续训练，避免了传统方法中因单d 点故障导致的整体停滞。

通过实验证明，解耦式 DiLoCo 在高硬件故障率的情况下仍能维持 88% 的良好利用率，而标准推出的数据并行训练方法仅为 27%。此外，这种新架构将跨数据中心所需的带宽从 198 Gbps 大幅降低至 0.84 G解耦bps，使得在现有商业互联网基础设施下的全球分布式训练成为可能。

值得一提的是，解耦式 DiLoCo 还具备自愈能力。在式 进行混沌工程测试时，该系统能够在整个学习单元失效后继续训练，并在单元恢复后无缝重新整合。这种灵活性在多种硬件平Di台上同样适用，支持不同代数的 TPU 芯片在同一次训练中协同工作，从而延长了旧设备的使用寿命，并缓解了硬件更新过Lo程中可能出现的容量瓶颈。

划重点：

解耦式 DiLoCo 通过分散训练任务到多个异步学习单元，提高了大规模模型训练的鲁棒Co性。  

该架构将跨数据中心带宽需求降低至 0.84 Gbps，使得全球分布式训练更加可行。&：提nbsp; 

具备自愈能力的解耦式 DiLoCo 在硬件故障情况下仍能维持高效训练，且支持异构硬件的升异混合使用。

• ·送你一个Python 数据排序的好方法
• ·AI时代如何构建云信任？报告显示：中国超四成企业聚焦AI治理
• ·Altman押注GPT-6记忆革命 OpenAI战略转向代理系统开发
• ·标签: 索尼 PlayStation 5 羊蹄山之魂 Bravia
• ·标签: 诺诚健华 宜诺凯 奥布替尼 BTK抑制剂
• ·标签: 千寻智能 解浚源 具身智能 字节跳动
• ·亚马逊在印度推出Prime移动视频订阅服务
• ·标签: AMD 锐龙AI AI PC Zen5
• ·苹果史上最大胆合作！Claude Sonnet 4强势入驻Xcode，3400万开发者集体沸腾
• ·标签: 三六零 360公司 2025财报 网络安全
• ·标签: 京东国民好车
• ·标签: 追觅科技 马某 XX的资本江湖 机器人
• ·标签: 抖音 AI侵权 肖像权 AI换脸
• ·亚马逊Q2获得净销售额1131亿美元 AWS净销售额为148.09亿美元
• ·亚马逊正开发交换芯片减轻对博通依赖：项目此前严格保密
• ·95%企业AI项目惨遭滑铁卢！这家初创公司融资2500万美元要做"可问责的AI智能体"