12-训练框架
12-训练框架(第 146–160 题)
| 题号 | 主题 | 文章 |
|---|---|---|
| 146 | Megatron-LM的代码结构?megatron/core的新设计… |
146-Megatron-LM的代码结构.md |
| 147 | DeepSpeed的ZeRO-Infinity和`ZeRO-Offl… |
147-DeepSpeed的ZeRO-Infinity和ZeRO-Offload的代.md |
| 148 | Colossal-AI的Gemini和PatrickStar的异… |
148-Colossal-AI的Gemini和PatrickStar的异同.md |
| 149 | FairScale的FullyShardedDataParallel… |
149-FairScale的FullyShardedDataParallel(FSD.md |
| 150 | Hugging Face的Accelerate如何简化分布式训练? |
150-Hugging-Face的Accelerate如何简化分布式训练.md |
| 151 | torch.distributed.fsdp的`limit_all_… |
151-torch.distributed.fsdp的limit_all_gathe.md |
| 152 | 大模型训练的checkpoint格式?`sharded checkp… |
152-大模型训练的checkpoint格式.md |
| 153 | 训练恢复的consistency问题?如何确保resume后的los… |
153-训练恢复的consistency问题.md |
| 154 | 大模型训练的data pipeline优化?WebDataset… |
154-大模型训练的data-pipeline优化.md |
| 155 | 多模态大模型的训练基础设施挑战?图文数据的加载? | 155-多模态大模型的训练基础设施挑战.md |
| 156 | RLHF训练的infra设计?PPO的分布式实现? |
156-RLHF训练的infra设计.md |
| 157 | MoE模型的all-to-all通信优化?Tutel、`Fast… |
157-MoE模型的all-to-all通信优化.md |
| 158 | 长上下文训练(100K+ tokens)的显存优化?`Ring Atte… | 158-长上下文训练(100K+-tokens)的显存优化.md |
| 159 | 训练任务的fault tolerance?`elastic trai… |
159-训练任务的fault-tolerance.md |
| 160 | 大模型训练的experiment tracking?`Weights… |
160-大模型训练的experiment-tracking.md |