19-CPP与CUDA编程
第 265 题:CUDA Graph的捕获条件?哪些操作不能捕获?
题目
CUDA Graph的捕获条件?哪些操作不能捕获?
完整讲解
一、CUDA Graph 捕获目的
CUDA Graph 把一段 kernel 与 memcpy 序列录成一张图,一次性提交、减少 host 侧启动开销,适合固定计算图、反复执行的推理或训练 step。
二、捕获条件
在 stream 上 用 cudaStreamBeginCapture(stream) 开始、cudaStreamEndCapture(stream, &graph) 结束;期间在该 stream 上发的 kernel、memcpy 会被记录。要求:不能在捕获期间做依赖该 stream 结果的 host 同步(如 cudaStreamSynchronize)、不能做会阻塞或依赖未捕获操作的行为;子图、条件分支需用 stream 内可表达的方式。
三、不能捕获的操作
cudaStreamSynchronize、cudaDeviceSynchronize、cudaMemcpy(同步版)、cudaMalloc 等会阻塞或非异步的 API 不能在捕获期间对「被依赖的 stream」调用。cudaLaunchHostFunc 在部分版本/场景下有限制。用 cudaMemcpyAsync、cudaMallocAsync(若可用)等异步接口即可纳入图。
面试要点
- CUDA Graph 记录一段 kernel/copy 序列,一次提交反复执行,降低 launch 开销。
- 捕获:cudaStreamBeginCapture / EndCapture;只能录异步、非阻塞的操作。
- 不能捕获:StreamSynchronize、DeviceSynchronize、同步 cudaMemcpy、cudaMalloc 等阻塞调用。
- 用 *Async 接口、避免在捕获期间 host 同步。
记忆要点
- Graph = 录一段操作序列;BeginCapture/EndCapture 在 stream 上。
- 只能录异步操作;同步/阻塞 API 不能出现在捕获路径上。
- 用 cudaMemcpyAsync、避免 Synchronize/cudaMalloc 等。