15-性能分析工具
第 183 题:Nsight Compute的roofline model分析?
题目
Nsight Compute的roofline model分析?
完整讲解
一、Roofline model 概念
Roofline:以 算术强度(Arithmetic Intensity,AI = FLOPs/Byte,即每字节数据能做的浮点运算数)为横轴、可达性能(GFLOPS 等)为纵轴;曲线由算力上限(ridge point 左侧)和带宽上限(右侧)组成,形成「屋顶」。AI 小时受内存带宽限制(带宽 bound);AI 大时受算力限制(compute bound)。用于判断 kernel 或算子落在哪一侧、优化方向是省带宽还是提算力。
二、Nsight Compute 中的 roofline
Nsight Compute(ncu)可对单 kernel 做详细分析,并给出 Roofline 图:标出该 kernel 的 AI 与实际达到的吞吐在屋顶上的位置。若在带宽 roof 下方,说明内存受限,优化方向为减少全局内存访问、合并访问、用共享内存等;若在算力 roof 下方,说明计算受限,可考虑提高 occupancy、更多算术等。ncu 还提供 Memory Workload Analysis、Compute Workload Analysis 与具体瓶颈建议。
三、工程用法
先跑 ncu --set full -o report python train.py 等采集 kernel;在 Nsight Compute 中打开,看 Roofline 与 Top Recommendations。结合 Nsight Systems 的 timeline 确定要重点看的 kernel(热点或 gap 附近),再用 ncu 做单 kernel roofline 与建议优化。
面试要点
- Roofline:AI = FLOPs/Byte;左侧带宽 bound、右侧算力 bound,判断优化方向。
- Nsight Compute 对单 kernel 画 Roofline,标出 AI 与达到的吞吐;给 Memory/Compute 瓶颈建议。
- 带宽 bound 减访存、合并、共享内存;算力 bound 提 occupancy、算力利用。
记忆要点
- Roofline:横轴 AI,纵轴性能;左带宽右算力。
- ncu 给单 kernel Roofline + 瓶颈建议。
- 带宽 bound → 减访存;算力 bound → 提算力利用。