SuperAPI AI 工具集

sglang-sota-humanize-loop

智能体与模型

查看项目

更新于 10-15 17:25

技能介绍

用途:当用户指定一个 LLM 模型,并希望 SGLang 服务路径自主持续优化,直到在同一目标环境中追平或超过指定对比框架的最佳可复现结果时使用。目标框架固定为 SGLang,对比框架默认 vLLM、TensorRT-LLM、TokenSpeed,用户可显式指定或排除。

主要能力:分为两大部分。一是固定基线阶段,只执行一次,必须在任何代码补丁之前完成;二是 Humanize RLCR 循环,负责差距判定、性能剖析、层/内核深入分析、SGLang 补丁、可选 NCU 证据与真实模型复测。循环内要求保留固定基准工作负载与 SLA,先查模型 PR 历史知识,再决定是否打补丁;SGLang 落后时用 llm-torch-profiler-analysis 剖析,随后用 llm-pipeline-analysis 分析,内核改动需要 Nsight Compute 证据时使用 ncu-report-skill。

使用方式:可在 Claude Code、Codex 或其他兼容技能运行时中运行。先收集或推断模型、精度/量化、GPU 环境、目标 SGLang 检出目录、对比框架集合与产物根目录,创建 runs/YYYYMMDD_<model_slug>_sota_humanize/ 运行目录。固定基准阶段使用 llm-serving-auto-benchmark 作为候选生成、结果模式、工作负载与比较的权威来源,默认两个数据集场景:random 80 条提示,chat 为输入 1000/输出 1000,summarization 为输入 8000/输出 1000。之后在 SGLang 检出目录创建 .humanize/sglang-sota-agent/refined-plan.md,并运行:"$HUMANIZE_RUNTIME_ROOT/scripts/setup-rlcr-loop.sh" .humanize/sglang-sota-agent/refined-plan.md --yolo。

限制:不得把活动拆成循环前剖析加循环后补丁;不得用调优后的 SGLang 对比竞品默认配置;不得用更简单的冒烟数据集替代真实 SOTA 决策;不得在存在活动 .humanize/rlcr/*/state.md 时启动新循环;不得在产物中保存 Hugging Face 令牌等机密;不得杀死他人进程或删除共享模型缓存。若 Humanize 运行时或 ncu-report-skill 缺失,需记录阻塞项。资料未提供具体收费、价格与效果数据。