分布式训练中All-Reduce、All-Gather、Reduce-Scatter原理

在分布式训练(尤其是 数据并行 / 模型并行 / 张量并行)中,All-Gather、Reduce-Scatter、All-Reduce 是三类最核心的集体通信(Collective Communication)原语。它们本质上定义了多进程 / 多卡之间如何交换与聚合张量数据。

1. All-Gather (全收集)

定义:All-Gather = 每个进程提供一部分数据,最终所有进程都得到“拼接后的完整数据”。

  • 不做求和 / 平均
  • 只做收集(concatenate)

场景: 假设有 NNN 个 GPU,每个 GPU 上只有一部分数据(比如模型权重的

大模型训练(4):AllReduce详解 分布式深度学习里的通信严重依赖于规则的集群通信,诸如 all-reduce, reduce-scatter, all-gather 等,因此,实现高度优化的集群通信,以及根据任务特点和通信拓扑选择合适的集群通信算法至关重要。如上图所示,一共4个设备,每个设备上有一个矩阵(为简单起见,特意让每一行就一个元素),All-Reduce 操作的目的是,让每个设备上的矩阵里的每一个位置的数值都是所有设备上对应位置的数值之和。当然,冗余量和通信量之间的等价关系不是偶然的,正是因为这些通信才造成了设备之间数据的冗余。 阅读详情

相关推荐

AllReduce vs. Reduce-Scatter:分布式深度学习中的通信原语对比与选择指南

本文深入对比了分布式深度学习中的两大核心通信原语AllReduce与Reduce-Scatter。针对大模型训练场景,重点分析了它们在通信量、显存占用及与计算重叠能力上的关键差异,并提供了结合数据并行、模型并行及框架选型的实战选型指南,帮助开发者在性能与资源间做出最优决策。

weixin_29054399的博客 324

分布式训练中的All-Reduce、All-Gather与Reduce-Scatter通信原理解析

在分布式深度学习训练中,集合通信(Collective Communication)是协调多GPU节点数据同步的核心机制。All-Reduce、All-Gather和Reduce-Scatter作为基础通信原语,分别实现全局归约广播、全量数据收集和归约分散操作。其底层采用Ring或Tree算法,通过数学归约(如SUM)和拓扑优化(如NCCL的NVLink感知)实现高效数据传输。在PyTorch、Horovod等框架中,这些原语支撑着梯度同步、参数更新等关键流程,直接影响1750亿参数GPT-3等大模型的训练

weixin_32306957的博客 238

分布式训练通信原语:从all_reduce到reduce-scatter的实战解析

本文深入解析了分布式训练中的核心通信原语,从基础的all_reduce、all_gather到更高效的reduce-scatter。通过实战代码与场景对比,详细阐述了各原语的工作原理、性能差异及适用场景,重点探讨了reduce-scatter如何在大模型混合并行训练中优化通信效率与显存占用,为开发者解决分布式训练通信瓶颈提供专业指导。

bean的博客 138

保姆级图解:用PyTorch DDP + NCCL Ring All-reduce 加速你的多卡训练(附带宽瓶颈分析)

本文深入解析了PyTorch DDP与NCCL Ring All-reduce在多卡训练中的性能优化技巧,包括通信瓶颈观测、Ring All-reduce算法原理及网络拓扑影响。通过实战调优和高级调试方法,帮助开发者显著提升分布式训练效率,特别适合深度学习工程师解决多卡训练中的带宽瓶颈问题。

weixin_30621959的博客 412

深度学习并行计算核心算子原理与性能优化实战

并行计算作为提升大规模数据处理和复杂模型训练效率的核心技术,其本质是通过多个计算单元协同工作来分解任务、加速处理。从技术原理上看,它主要依托数据并行和模型并行两大范式,前者通过梯度同步(如All-Reduce)处理大规模数据集,后者通过层间或层内切分解决大模型内存瓶颈。在深度学习领域,算子的高效并行化是实现性能突破的关键,例如矩阵乘法(GEMM)的分布式计算与归一化层的跨设备统计量同步,直接决定了训练速度和扩展性。理解这些基础算子的通信模式与计算逻辑,能帮助开发者在模型训练、推理优化及系统调优中精准定位瓶颈

weixin_29053695的博客 316

10 TPU 与分布式通信原语

本文介绍了TPU在分布式训练/推理中的通信原语实现。TPU采用2*2 mesh拓扑,每个设备有两个核心,内存层级以VMEM(64MiB SRAM scratchpad)和HBM2e为主。通过Pallas系统进行底层编程,需注意Python控制流与kernel控制流的区别,以及RDMA的异步特性。重点分析了reduce-scatter和all-gather两种集合通信在TPU环拓扑上的实现策略:all-gather通过传播原始数据块逐步拼接完整结果,reduce-scatter则通过传递部分和逐步归约。最后提

方品 367

reduce-scatter:适合分布式计算;Reduce、LayerNorm和Broadcast算子的执行顺序对计算结果的影响,以及它们对资源消耗的影响

Reduce、LayerNorm和Broadcast算子的执行顺序对计算结果的影响,以及它们对资源消耗的影响

ZhangJiqun&191cm&85kg 884

分布式训练通信优化分层式精讲:All-Reduce、Ring-AllReduce、NCCL 与 DDP/FSDP 重叠(分层式精讲)

核心结论:通信优化不是把 All-Reduce 讲成一个“中心枢纽”,而是理解不同 collective 的通信量、延迟、拓扑和重叠边界。DDP 主要通过 gradient bucket + all-reduce overlap 提升效率;FSDP/ZeRO 通过 reduce-scatter/all-gather 降低训练状态复制;NCCL 会按拓扑和消息大小选择 ring/tree/hierarchical 等算法。默认不要手写 Ring 或激进梯度压缩,先用成熟框架和 profiler 找瓶颈。

AI浩 483

用Matlab和CVX搞定原子范数最小化:一个信号处理小白的避坑实践

本文详细介绍了如何使用Matlab和CVX实现原子范数最小化(Atomic norm minimization),特别适合信号处理初学者。从CVX安装配置、核心代码解析到实战中的典型问题与解决方案,提供了全面的避坑指南。通过具体案例展示了原子范数在频率估计和DOA估计中的优势,并给出性能优化策略和可视化方法。

weixin_28731231的博客 236

设计师必看!用Figma MCP自动生成开发文档的隐藏技巧

本文为设计师揭秘利用Figma MCP协议自动生成开发文档的隐藏技巧。通过将设计稿转化为结构化数据,实现设计规范的自动化输出、版本同步与动态更新,并借助AI助手提升协作效率,彻底告别繁琐的手动标注与沟通。

berry的博客 926

科研绘图实战:用Adobe Illustrator高效排版期刊论文图片

本文详细介绍了使用Adobe Illustrator高效排版科研论文图片的完整工作流。针对期刊投稿常见的图片格式问题,文章重点讲解了矢量图与位图的预处理、AI中的精准对齐与分布技巧、文字样式统一管理以及最终输出TIFF/PDF等符合出版要求的格式。掌握这套方法能确保图片满足高分辨率、规范字体和精确尺寸等期刊硬性标准,显著提升投稿效率。

tomato的博客 1455

ARKit面部动画实战:如何用blend shape让数字人表情更自然(附中文对照表)

本文深入探讨了如何利用ARKit的blend shape技术驱动数字人面部动画,以实现更自然生动的表情。文章提供了详细的blend shape中文对照表,并分享了实战技巧,包括构建复合表情动画序列、处理不对称性与微表情,以及性能优化策略,旨在帮助开发者高效提升数字人的表情表现力。

weixin_29292535的博客 327

Altium Designer 16来自原理图/PCB的各种报错 (持续更新):

NO1.Nets with only one pin: 根本原因: 在BGA的原理图绘制时,我一般习惯拉出该元件的所有IO的网络,这方便利于我开发其他款板卡。同样也会因为不同板卡的需求不同而造成有些IO并没有使用到,也就是整个原理图中only one pin。 解决方案: 鼠标右键工程文件>工程参数>下图圈中的选项将“错误”更改为“警告/不报告” ...

CSDN@猿谷攻城狮 1万+

Vue - 解决 Property or method “__v_isRef“ is not defined on the instance but referenced(浏览器控制台报错,代码没错)

vue,vue2控制台报错,vue报错Propertyormethod"__v_isRef"isnotdefinedontheinstancebutreferenced,vue代码没问题,但是报错Propertyormethod"__v_isRef"isnotdefinedontheinstancebutreferenced,vue2如何解决报错,vue怎么解决报错问题,vue2Propertyormethod"__v_isRef"isnotdefi

🏆 前端领域优质创作者 4504

windows中通过docker部署LocateAnything-3B模型

windows中通过docker部署LocateAnything-3B模型

yilvyangguang520的博客 490

Figma 设计稿转前端代码:Cursor 实现 UI 还原的 4 种精准映射方法

揭示 Figma 设计稿转前端代码失效的根本原因在于四层语义未对齐(像素→布局、视觉→样式、交互→行为、意图→架构),提出以语义标注为核心的结构化喂数据方法,详解通过图层命名、Description 字段和 Markdown 上下文锚点实现高精度 React 组件生成,并给出可落地的避坑指南与实测提

weixin_42545292的博客 141

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

上一篇: Pre-Norm和Post-Norm
下一篇: 为什么在进行softmax之前需要对attention进行scaled(为什么除以dk的平方根)
comli_cn
博客等级 码龄9年 2398粉丝 241原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

comli_cn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址