08-通信优化
08-通信优化(第 86–95 题)
| 题号 | 主题 | 文章 |
|---|---|---|
| 86 | NCCL的Tree算法和Ring算法分别在什么场景下更快? |
086-NCCL的Tree算法和Ring算法分别在什么场景下更快.md |
| 87 | 如何计算all-reduce的通信量?公式是什么? | 087-如何计算all-reduce的通信量.md |
| 88 | NVLink、InfiniBand、TCP的带宽和延迟差异? |
088-NVLink、InfiniBand、TCP的带宽和延迟差异.md |
| 89 | 多机训练中的网络拓扑感知?NCCL_TOPO_FILE? |
089-多机训练中的网络拓扑感知.md |
| 90 | 通信和计算重叠(overlap)的技术手段?`double buffer… | 090-通信和计算重叠(overlap)的技术手段.md |
| 91 | torch.distributed的backend选择:`ncc… |
091-torch.distributed的backend选择:nccl、gloo、.md |
| 92 | RDMA技术原理?RoCE v1 vs RoCE v2 vs `… |
092-RDMA技术原理.md |
| 93 | 如何诊断网络拥塞导致的训练卡顿?iftop、nicstat? |
093-如何诊断网络拥塞导致的训练卡顿.md |
| 94 | 自定义通信算子的实现?torch.distributed的`redu… |
094-自定义通信算子的实现.md |
| 95 | 异构网络环境下的通信优化策略? | 095-异构网络环境下的通信优化策略.md |