SuperAPI AI 工具集

cuda-kernel-refine

部署与运维

查看项目

更新于 10-16 03:39

技能介绍

用途:指导以单变量迭代方式优化 CUDA 内核。每轮循环为基线→剖析→分类→优化→验证→对比,避免同时做多处改动导致无法归因,出现回退则撤销。流程先用项目自带 benchmark 建立基线(记录主指标、标准差与工作负载参数,变异系数低于 5%);再用 nsys 采集并导出 SQLite 做内核耗时、CUDA API、内存传输分析;用 nvcc -Xptxas=-v 检查寄存器、溢出与屏障;用 ncu 获取 SpeedOfLight 与占用率数据,据此把瓶颈分为访存受限、计算受限、延迟受限或已优化良好。优化手段包括内核融合、向量化加载、共享内存复用与降精度,快数学指令、warp shuffle、ILP 与张量核心,以及消除设备到主机同步点和减少分配开销。限制:ncu 需性能计数器权限,否则可改用行为推断;nsys 约 5-10% 开销,ncu 为 10-50 倍;compute-sanitizer 同样有显著开销;改动前后需在相同工作量与 GPU 状态下对比,差值小于标准差时视为噪声。正确性需先于性能验证,可用项目测试与 compute-sanitizer 的 memcheck、racecheck、initcheck、synccheck 检查。资料未提供该技能的具体安装方式、收费与支持平台信息。