AI Infra 305
12-训练框架

12-训练框架(第 146–160 题)

题号 主题 文章
146 Megatron-LM的代码结构?megatron/core的新设计… 146-Megatron-LM的代码结构.md
147 DeepSpeed的ZeRO-Infinity和`ZeRO-Offl… 147-DeepSpeed的ZeRO-Infinity和ZeRO-Offload的代.md
148 Colossal-AI的Gemini和PatrickStar的异… 148-Colossal-AI的Gemini和PatrickStar的异同.md
149 FairScale的FullyShardedDataParallel… 149-FairScale的FullyShardedDataParallel(FSD.md
150 Hugging Face的Accelerate如何简化分布式训练? 150-Hugging-Face的Accelerate如何简化分布式训练.md
151 torch.distributed.fsdp的`limit_all_… 151-torch.distributed.fsdp的limit_all_gathe.md
152 大模型训练的checkpoint格式?`sharded checkp… 152-大模型训练的checkpoint格式.md
153 训练恢复的consistency问题?如何确保resume后的los… 153-训练恢复的consistency问题.md
154 大模型训练的data pipeline优化?WebDataset… 154-大模型训练的data-pipeline优化.md
155 多模态大模型的训练基础设施挑战?图文数据的加载? 155-多模态大模型的训练基础设施挑战.md
156 RLHF训练的infra设计?PPO的分布式实现? 156-RLHF训练的infra设计.md
157 MoE模型的all-to-all通信优化?Tutel、`Fast… 157-MoE模型的all-to-all通信优化.md
158 长上下文训练(100K+ tokens)的显存优化?`Ring Atte… 158-长上下文训练(100K+-tokens)的显存优化.md
159 训练任务的fault tolerance?`elastic trai… 159-训练任务的fault-tolerance.md
160 大模型训练的experiment tracking?`Weights… 160-大模型训练的experiment-tracking.md

返回总览