22-网络
第 294 题:多机训练的网络拓扑?fat-tree、dragonfly?
题目
多机训练的网络拓扑?fat-tree、dragonfly?
完整讲解
一、多机训练与拓扑
多机多卡训练时,通信拓扑决定 all-reduce 等集合通信的跳数、带宽、拥塞。理想情况:每对节点间带宽大、延迟低、无单点瓶颈。常见拓扑有 fat-tree、dragonfly、mesh 等。
二、Fat-tree
Fat-tree(胖树):自上而下带宽递增(越靠近核心越宽),叶子为计算节点、上层为交换机。同 pod 内通信走下层、跨 pod 走上层;无 oversubscription( bisection 带宽充足)时通信性能好。常用于数据中心、HPC;成本与布线复杂度较高。
三、Dragonfly
Dragonfly:分组(group)内全连或高连接,组间通过少量链路连接,形成「组内密、组间疏」的层次。全局负载均衡:通信尽量走组内或少跳,长距离流量分散到多条路径,减少热点。适合超大规模、对 bisection 与平均跳数有要求的场景。与 fat-tree 相比,在相同端口数下可 scale 更多节点,但路由与负载均衡更复杂。
面试要点
- 多机训练通信受拓扑影响;fat-tree、dragonfly 为常见数据中心/HPC 拓扑。
- Fat-tree:自上而下带宽递增、无 oversubscription 时性能好;成本与布线高。
- Dragonfly:组内密、组间疏;全局负载均衡、少跳;scale 大、路由复杂。
- 选型看规模、带宽需求、成本与运维。
记忆要点
- Fat-tree = 胖树、带宽递增、无 oversubscription 时通信好。
- Dragonfly = 组内全连/高连、组间稀疏;负载均衡、少跳。
- 拓扑决定 all-reduce 等通信的跳数与带宽。