03-自定义算子开发
第 21 题:用CUDA写一个简单的vector add,如何绑定到Python?
题目
用CUDA写一个简单的vector add,如何绑定到Python?
完整讲解
一、CUDA vector add 怎么写?
用 CUDA 写 vector add:在 kernel 里每个线程负责若干元素(或一对一),从 global memory 读 a[i]、b[i],写回 c[i] = a[i] + b[i]。注意 grid/block 维度:block 内线程数常取 256,grid 大小 = (n + blockSize - 1) / blockSize;kernel 内用 blockIdx.x * blockDim.x + threadIdx.x 得到全局下标,并加 bounds check(if (i < n))防止越界。
二、如何暴露给 Python?
常见方式:PyTorch C++ 扩展(torch.utils.cpp_extension)、pybind11 + 自己编译、或 CuPy/NumPy 的 C 扩展。
- PyTorch 扩展:写
.cu里__global__kernel,在.cpp里用at::Tensor取 data ptr、调 CUDA kernel;用load_inline或load编译成 so,Python 里import torch.utils.cpp_extension; torch.ops.load_library(...)或通过torch.library.define注册,即可torch.ops.my_ns.vector_add(a, b)调用。 - pybind11:CUDA 分配/拷贝自己管,用
py::array_t或 raw pointer 传进 Python;需在 C++ 侧做 host/device 拷贝,或接受已 in GPU 的 buffer(如从 CuPy 传过来)。
三、工程要点
- 编译依赖:CUDA toolkit、与当前 PyTorch 一致的 CUDA 版本;Windows 上需配 nvcc、PATH。
- 若要在 Autograd 里用,需再包一层
torch.autograd.Function,在 backward 里实现梯度(vector add 的梯度就是直传)。 - 小规模可先 CPU 或
torch算子验证正确性,再对比 GPU 结果与性能。
面试要点
- CUDA kernel:grid/block、全局下标、bounds check;vector add 是 memory-bound,注意 coalesced 访问。
- 绑定 Python:PyTorch C++ 扩展(cpp_extension + at::Tensor)或 pybind11;扩展需正确链接 CUDA、与 PyTorch CUDA 版本一致。
- 要参与训练需用
autograd.Function包装,backward 实现梯度并可选再调 kernel。
记忆要点
- CUDA vector add:每线程算下标
i,读 a[i]、b[i],写 c[i];grid/block 覆盖 n,加i < n判断。 - 绑 Python:PyTorch 扩展(.cu + .cpp,load_library)或 pybind11;at::Tensor 取 ptr 调 kernel。
- 参与 Autograd 需包一层 Function,forward 调 kernel,backward 传梯度。