SuperAPI AI 工具集

trt-perf-analysis

前端与建站

查看项目

更新于 10-16 02:34

技能介绍

用途:从已有的 TensorRT(TRT)层信息(layer-info)与 profile/latency JSON 配对生成交互式 HTML 性能报告。常见命名为 layers_.json 与 profile_.json,文件名可任意。

主要能力:提供分析、校验、打包、预览的完整流程。输入解析优先级为:用户显式提供的 JSON 配对(保持配对关系);给定文件夹中自动查找完整配对(优先按 layers_<label>.json 与 profile_<label>.json 命名匹配,非标准命名按 JSON 结构与层名判断,子组件文件夹单独处理);无显式路径时仅从明确上下文推断,若无歧义配对则失败。需至少一对可读的层信息与 profile/latency。接受原始详细 TensorRT inspector 输出(层数组,或含 Layers 的 TensorRT 11 对象)。不得用 analyze-data.json 作为层信息输入;拒绝缺失、歧义、仅有层或仅有 profile 的输入。

使用方式:在 Unix 用 scripts/run.sh、Windows 用 scripts\run.cmd 作为 <runner>,可用 SKILL_PYTHON 覆盖 Python 3.8+ 发现。先运行 analyze_trt_perf.py(显式/非标准配对用重复的 --data <layer.json> <profile.json>,标准命名可用文件夹模式,可用 --model-name 指定模型名),输出 analyze-data.json 到最终报告文件夹之外。分析后必须运行 validate_analyze_data.py --require-passed,同时通过 SCHEMA PASS 与 SEMANTIC PASS 才继续,否则报告错误并停止,清理临时输出。然后编写 analyze.md(含 ## Summary 与 ## Details 两节),只聚焦未由 analyze-data.json 呈现的结论,按影响与置信度排序建议,区分事实与假设并给出后续实验。最后用 package_report.py 打包,可用 --analyze-data、--report-dir、--output-parent、--model-name、--analyze-md。预览仅在请求时提供已完成报告文件夹,命令如 python -m http.server 8765 --bind 127.0.0.1 --directory <report-folder>,再打开 http://127.0.0.1:8765/。

限制:每步视为门禁,失败要停止、报告错误、清理临时输出且不生成或预览报告;层名以 TensorRT inspector 为准,重复张量输出名视为同一逻辑张量;拓扑仅在结果非 DAG 或声明的图输入又被某层产出时判定失败(声明的图输出仍可喂给其他层);分析器的模型类别视为假设,强度不超过其证据;每个报告范围只做一次分析,仅比较属于该范围的多对数据;打包失败需移除不完整报告产物。输出位置遵循显式指定,否则用当前工作区,在技能内运行时可回退到系统临时目录。资料未提供收费、价格、平台或效果等信息。