01-PyTorch底层
第 7 题:PyTorch的DataLoader中num_workers设置多少合适?遇到过too many open files吗?
题目
PyTorch的DataLoader中num_workers设置多少合适?遇到过too many open files吗?
完整讲解
一、num_workers 在干什么?
num_workers > 0 时,DataLoader 会起多个子进程,每个进程负责从 dataset 里取样本、做 collate、放到队列里;主进程只从队列里取 batch。目的是把数据加载和预处理和 GPU 计算并行,避免 GPU 等数据(数据瓶颈)。workers 越多,理论上吞吐越高,但进程数多了会占 CPU/内存、增加 IPC 和打开文件数。
二、设多少合适?
- 经验值:常用 4、8、16;可先设成 CPU 物理核数或略小(如 8 核设 4–8),再根据 GPU 利用率和 dataloader 的
num_workers对吞吐的影响做微调。 - 原则:若
nvidia-smi里 GPU 利用率长期偏低、且不是模型太小,多半是数据跟不上,可适当加大 num_workers;若 CPU 或 I/O 已经打满,再加 workers 收益不大,反而可能因上下文切换或内存变慢。 - batch 大时:每个 batch 要准备的数据多,可适当多开几个 workers;但 workers 数 × 每进程打开文件/内存要小于系统限制(见下)。
三、too many open files 从哪来?
每个 worker 进程会打开数据文件(如每张图一个 fd、或每个 shard 一个 fd)、可能还有 pipe/socket(和主进程通信)。打开文件数 = 进程数 × 每进程打开文件数,超过系统 ulimit(open files) 就会报 too many open files(或 OSError 类似错误)。
常见场景:num_workers 较大 + 每个 sample 打开一个文件(如每张图一个文件)、或 dataset 里没及时 close、或系统默认 ulimit 较小(如 1024)。
四、怎么解决?
- 临时提高 ulimit:
ulimit -n 65535(或更大),只对当前 shell 及子进程有效。 - 永久提高:在
/etc/security/limits.conf或 systemd 的 service 里设nofile,然后重新登录或重启服务。 - 减少每进程打开数:数据用大文件 + 偏移读取(如 TFRecord、WebDataset 的 tar、数据库)而不是「一个 sample 一个文件」;或在 dataset 的
__getitem__里用完即 close,不要长期持有 fd。 - 适当减小 num_workers:在满足吞吐的前提下减小,使 workers × 每进程 fd 数 < ulimit。
面试要点
- num_workers:子进程数,用于数据加载与 GPU 并行;建议从 CPU 核数附近起调(如 4–8),看 GPU 利用率与吞吐再调。
- too many open files:进程打开 fd 总数超过 ulimit;多因 num_workers 大 + 每 sample 一文件或未及时 close。
- 解决:提高 ulimit、改用大文件/流式读取、保证用完 close、或适当减 num_workers。
记忆要点
- num_workers = 数据加载子进程数;一般 4–8 起步,按 GPU 利用率和 CPU 负载调。
- too many open files = 打开 fd 数 > ulimit;常为 workers 多 + 每 sample 一文件。
- 解决:ulimit -n、大文件/流式、及时 close、或减 workers。