SuperAPI AI 工具集

analyze-kernel-bottleneck

通用与其它

查看项目

更新于 10-16 03:42

技能介绍

用途:在优化 CUDA 内核前建立基线并分类瓶颈类型,判断内核属于计算受限、内存受限还是延迟受限,从而选择正确的优化路径(如 cp.async、增大 tile 或算法重构)。

主要能力:测量基线性能(CUDA event 计时、有效 GFLOPS 与带宽);按 roofline 计算算术强度并与机器平衡点比较分类;计算占用率并找出限制因素(寄存器、共享内存、warp、block);从 SASS 统计每 tile 计算/加载比并给出 cp.async 建议;检查 SASS 指令混合与 stall 码;检查共享内存悬崖;最后用决策矩阵输出排序后的优化建议与结构化报告。

必要用法:需提供已编译内核(.cubin 或 .cu 及构建命令)、带 CUDA event 计时的基准程序、问题维度;可选目标架构(默认 GA104/sm_86)、预期峰值利用率、既有 Nsight Compute 报告。典型命令包括:nvcc --cubin -arch=sm_86 -O2 -o kernel.sm_86.cubin kernel.cu;nvcc --cubin -arch=sm_86 -O2 --resource-usage -o kernel.sm_86.cubin kernel.cu;cuobjdump -sass kernel.sm_86.cubin > kernel.sass;以及用 grep 统计 HMMA、IMMA、FFMA、LDG、LDGSTS、BAR.SYNC 等指令。

适用场景:内核首次可用后确定优化方向、性能低于理论峰值、在 cp.async 与更大 tile 或算法重构之间做选择。

限制:参考数值针对 GA104(sm_86),其他架构阈值不同;必须从 SASS 而非源码统计指令;需先做预热迭代;注意直接 conv2d 的重复读取会虚增字节数;FP16 与 FP32 峰值不可混用。资料未提供其他平台、收费或价格信息。