SuperAPI AI 工具集

profiling-analysis-roofline

编程与开发

查看项目

更新于 10-20 22:37

技能介绍

该技能用于对 Ascend profiler 生成的 kernel_details.csv 做算力瓶颈的 Roofline 核对。它筛选出 aic_mac_ratio≥80% 的算子,依据 NPU 峰值算力与内存带宽计算理论耗时,再与实际耗时对比,判断是否需要优化并给出初步排查方向。

用途:本技能与 profiling-analysis-computing 同级且相互独立:计算瓶颈透视与形状解析仍使用 computing;本技能专注 Roofline 理论耗时与实际耗时的核对。

主要能力:理论耗时按 max(FLOPs/算力, Bytes/带宽) 计算,效率为理论耗时与实际耗时之比;默认只分析 aic_mac_ratio≥80% 的算子;可建模 MatMul 系、QuantBatchMatmul、TransposeBatchMatMul、GroupedMatmul/SwigluQuant、Compressor、SparseAttn、HcPre/HcPost 等算子。效率判断方面:80%~120% 暂不优先优化 kernel(Cube 已接近峰值);40%~70% 建议优化;<40% 需要优化;>150% 视为模型高估,不据此排序。

使用方式:所需输入缺一不可,缺失时应先向用户询问,不要默认猜测:kernel_details.csv 路径,或含该文件的 profiling 根目录(需含 aic_mac_ratio 列);NPU 算力(TFLOPS,填 FP16/BF16 Cube 峰值);内存带宽(默认按 GB/s 解释 --bandwidth,1.2 TB/s 写作 --bandwidth 1.2 --bw-unit TB/s,或 --bandwidth 1200)。可选参数有 --mac-threshold(默认 0.80)、--top、--output-path / --out、--int8-scale(默认 2)。

脚本:scripts/kernel_roofline_compute_check.py 为分析入口;reference/kernel_roofline_compute_check.md 说明口径、判据与排查方向。

示例命令: python scripts/kernel_roofline_compute_check.py
--input-path <profiling根目录>
--flops <TFLOPS> --bandwidth 1.2 --bw-unit TB/s
--output-path <输出目录>

或直接指定 CSV: python scripts/kernel_roofline_compute_check.py
--csv <path>/kernel_details.csv
--flops <TFLOPS> --bandwidth 1200
--out <输出目录>/kernel_roofline_compute_check.csv

自检: python scripts/kernel_roofline_compute_check.py --self-test

输出:终端报告包含总体概况、按类型汇总、Top 明细、是否需优化摘要与初步排查方向;可选输出 CSV 文件 kernel_roofline_compute_check.csv。

适用场景:在使用 Ascend NPU 进行模型性能剖析后,需要快速定位高 MAC 利用率算子的算力瓶颈、评估是否值得继续优化 kernel 时使用。

限制:依赖包含 aic_mac_ratio 列的 kernel_details.csv;需用户明确提供 NPU 算力与带宽;仅覆盖资料列出的算子类型;效率 >150% 时模型高估,不据此排序。