SuperAPI AI 工具集

generate-profile

通用与其它

查看项目

更新于 10-16 08:39

技能介绍

用途:生成 SGLang 服务器运行的端到端性能剖析(profiling)追踪,便于用 Chrome tracing 或 Perfetto 分析推理过程的耗时分布。

主要能力与流程:

  1. 启动服务:CUDA_VISIBLE_DEVICES=<gpu_id> sglang serve --model-path <model> --port <port> &,默认模型 Qwen/Qwen3-8B,默认端口 30000。
  2. 等待就绪:轮询 http://127.0.0.1:<port>/health,直至返回 ok/healthy;通常 30-90 秒。
  3. 精度校验:sgl-eval run gsm8k --base-url http://127.0.0.1:<port>/v1 --num-examples 20,能力较好的模型期望精度 > 0.8;若异常偏低不要继续剖析。
  4. 生成剖析:python3 -m sglang.test.send_one --profile,默认剖析 5 步,trace 输出到 /tmp/<timestamp>/,包含 <timestamp>-TP-0.trace.json.gz 与 server_args.json。
  5. 清理:pkill -9 -f "sglang.launch_server|sglang serve|sglang.srt"。
  6. 返回剖析目录路径及文件列表。

可选参数:--profile-steps N 指定步数,--profile-by-stage 分阶段(prefill/decode),--profile-prefix <path> 自定义输出前缀。多 GPU 可用 --tp <N>,按 TP rank 生成 trace。

查看方式:将 .trace.json.gz 拖入 Perfetto UI(https://ui.perfetto.dev/)或 chrome://tracing。

限制:需可用的 SGLang 安装与至少一块 CUDA GPU;精度校验仅为快速健全性检查,非严格基准。不同安装方式的细节、价格与平台信息资料暂未提供。