AI Infra 305
05-数据并行

第 56 题:DDP的torchrun和mp.spawn启动方式的区别?

题目

DDP的torchrun和mp.spawn启动方式的区别?


完整讲解

一、torchrun(推荐)

torchrun(原 torch.distributed.launch)是单命令启动多进程:在一台或多台机器上执行一次 torchrun --nproc_per_node=4 --nnodes=2 ... train.py,由 torchrun 进程 fork 出多个 worker(每 node 4 个,共 8 个),每个 worker 里会设好 RANK、WORLD_SIZE、MASTER_ADDR、MASTER_PORT 等环境变量,然后执行 train.py。不需要在脚本里写 spawn,脚本只需在入口处 init_process_group() 并拿到 rank;适合多机:主节点指定 --nnodes、--node_rank,从节点用同样命令或通过 job 调度拿到相同 env 即可。


二、mp.spawn

torch.multiprocessing.spawn 在单机上由主进程 spawn 出 N 个子进程,每个子进程跑同一 train_fn(rank, ...);在 train_fn 里根据 rank 调 init_process_group(rank=rank, world_size=world_size, ...),需手动传或设 MASTER_ADDR、MASTER_PORT(通常用本机 127.0.0.1)。不需要单独起多个进程再传 env,一切在一个 Python 进程里写:mp.spawn(train_fn, nprocs=4, args=(...))。多机时不太方便,因为 spawn 是单进程起子进程,跨机要自己起多个进程并配好 env,不如 torchrun 统一。


三、区别小结

维度 torchrun mp.spawn
谁起进程 torchrun 命令行起多进程 脚本里主进程 spawn 子进程
环境变量 torchrun 自动设 RANK 等 需在 train_fn 里 init 时传 rank
多机 原生支持(--nnodes 等) 需自己起进程、配 env
脚本写法 脚本只 init_process_group 脚本里写 spawn + train_fn
推荐 生产与多机首选 单机快速试验、脚本自包含时可用

四、使用建议

  • 多机、生产、统一入口:用 torchrun,由调度器或运维一次启动,env 一致。
  • 单机、本地试跑:两种都行;torchrun 更简单(不用写 spawn),spawn 适合「一个脚本里包圆」的写法。

面试要点

  • torchrun:命令行起多进程、自动设 RANK/WORLD_SIZE/MASTER_*;支持多机;脚本只 init。
  • mp.spawn:单脚本里主进程 spawn 子进程,train_fn(rank) 里 init;多机需自配。
  • 选型:多机/生产用 torchrun;单机可 torchrun 或 spawn。

记忆要点

  1. torchrun = 外部起进程 + 自动 env;mp.spawn = 脚本内 spawn + 手动传 rank。
  2. 多机用 torchrun(--nnodes、--node_rank);单机两者皆可。
  3. 脚本写法:torchrun 下只写 init;spawn 下写 spawn(train_fn, nprocs, args)。

返回模块 | 返回总览