SuperAPI AI 工具集

skillgrade-setup

智能体与模型

查看项目

更新于 10-16 00:29

技能介绍

Skillgrade 用于搭建并运行 Agent Skills 的评估流水线,适合初始化评测配置、运行试验、查看结果和集成 CI 的场景。使用前需确认 Node.js 20+ 与 Docker 可用,然后运行 npm i -g skillgrade 全局安装。

初始化:进入包含 SKILL.md 的技能目录,设置对应 API Key 环境变量(GEMINI_API_KEY、ANTHROPIC_API_KEY 或 OPENAI_API_KEY),执行 skillgrade init 生成带 AI 任务与评分器的 eval.yaml;已有配置可用 skillgrade init --force 覆盖;无 API Key 时生成带注释的模板。eval.yaml 在 tasks 下定义任务,每项含 name、instruction、workspace、graders,并可选配置 agent、provider、trials、timeout、threshold 默认值。

执行:按目标选预设,--smoke(5 次试验)、--reliable(15 次)、--regression(30 次),如 skillgrade --smoke。可用 --eval=名称 指定单个或多个评测,--grader=deterministic 只跑确定性评分器,--grader=llm_rubric 只跑 LLM 评分器。Agent 由 API Key 自动推断,可用 --agent=gemini|claude|codex|acp|opencode|command 覆盖;ACP 传 --acp-command,OpenCode 传 --opencode-agent 或 --opencode-model,自定义命令用 --agent=command --command="node mycli.js"(指令经 stdin 传入);provider 可用 --provider=docker|local 覆盖。

结果与 CI:skillgrade preview 输出 CLI 报告,skillgrade preview browser 打开 http://localhost:3847 网页界面,报告默认存于 $TMPDIR/skillgrade/<skill-name>/results/,可用 --output=DIR 覆盖。CI 中建议用 --regression --ci --provider=local,--ci 会在通过率低于 --threshold(默认 0.8)时返回非零退出码。若 init 报错 No SKILL.md found,检查当前目录;若卡住,检查 Docker 与网络;若试验全部因 No API key 失败,确认环境变量已导出。资料未提供更多价格、平台与效果信息。