SuperAPI AI 工具集

model-compute-simulation

智能体与模型

查看项目

更新于 10-15 17:25

技能介绍

用途:面向已知模型或配置,分析算子顺序、张量维度、FLOPs、MFU 与并行切分,适用于特定服务形态的计算画像与不同并行配置对比。

主要能力:加载模型配置并生成逐层算子序列,输出 shape_in→shape_out、每算子 FLOPs、Attention 与 MoE/FFN 占比及单次前向总 FLOPs;结合实测延迟计算整体与逐层 MFU;支持 kernel 级 MFU 表(--kernel-flow)、算子级汇总(--kernel-detail)和类别近似(--kernel-ms);可从 torch profiler trace 提取真实算子序列并与静态模板比对。

使用方式:先列出模型 python3 skills/model-compute-simulation/scripts/model_compute_simulator.py --list-models,再运行模拟,例如 python3 skills/model-compute-simulation/scripts/model_compute_simulator.py "Qwen3-235B-A22B" --batch-size 1 --seq-len 1 --tp 8 --dp 1 --ep 8 --gpu h20 --dtype bf16;提供 --measured-ms 可算 MFU;--kernel-flow @file 做 kernel 级分析;--format json 便于自动化。trace 提取用 scripts/extract_compute_flow_from_trace.py。

限制:模型需在 model-config-index.json 中,否则需提供 config.json;MFU 需 GPU 类型与实测延迟;trace 需 record_shapes=True,CUDA Graph 回放可能缺形状;trace 显示的是 TP 切分后维度;--per-layer-ms、--kernel-ms、--kernel-detail、--kernel-flow 只能选一个,实测时长须为正。GPU 峰值来自 references/gpu-specs.json。