SuperAPI AI 工具集

benchmark-model-kernels

通用与其它

查看项目

更新于 10-16 02:34

技能介绍

用途:为预期部署的每 rank 形状规划单 GPU 微基准测试。脚本不加载检查点权重、不启动分布式 worker,也不测量集合通信、服务吞吐或请求延迟。

主要能力:先做形状预览(无需 FlashInfer 或 GPU),再运行完整基准。支持 BF16(W16A16 基线)、FP8(per-tensor W8A8)、NVFP4(W4A4)的 GEMM 与融合 MoE 行;MoE 覆盖 FlashInfer CUTLASS、trtllm-gen NVFP4/FP8、CuteDSL NVFP4。

使用方式:先运行形状预览:python "$SKILL_DIR/scripts/benchmark_model.py" <model> --tp <tp> --ep <ep> --ms <m1> <m2> ... --print_only。完整基准需 FlashInfer 源码检出(含 benchmarks/flashinfer_benchmark.py),命令为 CUDA_VISIBLE_DEVICES=<gpu-index> python "$SKILL_DIR/scripts/benchmark_model.py" <model> --tp <tp> --ep <ep> --ms <m1> <m2> ... --flashinfer_repo <flashinfer-repo> --workdir <workdir>。建议先加 --dry_run_iters 1 --num_iters 3 --no_autotune 做管道检查。预览中 # unsupported: 的模块用 benchmark_via_builtin.py 手动补充。

限制:mm_fp4 TensorRT-LLM 需 N % 128 == 0;mm_fp8 trtllm_low_latency 需 K % 128 == 0;门控 NVFP4 CUTLASS MoE 每 rank 2F % 128 != 0 会失败。MoE 路由为合成均匀分布,不含 router GEMM,结果为纯内核时间,不能当作端到端延迟或吞吐。

适用场景:为部署规划做内核级性能对比与形状验证。其他细节暂未提供。