16-优化技术
第 205 题:torch.backends.cudnn.benchmark的作用和副作用?
题目
torch.backends.cudnn.benchmark的作用和副作用?
完整讲解
一、cudnn.benchmark 的作用
torch.backends.cudnn.benchmark = True:让 cuDNN 在首次遇到某组 (op, shape, dtype) 时,自动跑多种卷积/RNN 等算法,选其中最快的并缓存,后续同配置直接用该算法。目的:在 shape 固定 的训练或推理中,减少「每次都试一遍」的开销,并选到当前硬件上更优的算法,往往能明显提速(尤其卷积多、shape 不变时)。
二、副作用
首次迭代变慢:第一次遇到新 shape 会做 benchmark 试跑,该 step 会偏慢。显存:某些「更快」的算法可能显存更大(如用更多 workspace),极端情况下可能 OOM;若遇 OOM 可尝试关 benchmark 或限制 cuDNN workspace。非确定性:不同 run 可能选到不同算法(若多算法性能接近),数值结果可能略有差异;若需严格可复现(如论文、合规),可设 benchmark=False 并配合 cudnn.deterministic。
三、使用建议
训练/推理 shape 固定:默认开 benchmark=True 即可。shape 多变:每次新 shape 都会触发一次 benchmark,可能反而不划算,可关或按需开。严格复现:benchmark=False + deterministic。
面试要点
- cudnn.benchmark=True:cuDNN 对每类 (op,shape) 试多种算法、选最快并缓存;shape 固定时提速明显。
- 副作用:首次新 shape 慢、可能更占显存、算法选择可能导致非确定性。
- shape 固定可开;shape 多变或要严格复现时可关或加 deterministic。
记忆要点
- benchmark = 自动选最快算法并缓存;固定 shape 提速。
- 副作用:首 iter 慢、显存可能增、非确定性。
- 固定 shape 开;要复现时关 + deterministic。