SuperAPI AI 工具集

benchmarks

测试与质量

查看项目

更新于 10-15 21:55

技能介绍

用途:该技能面向仓库维护工作流,用于执行和发布评测基准,不是面向用户的 Graphistry 领域技能。适用场景包括:跨 journeys 运行评测扫描(技能压力、persona、guardrails 等);验证基线隔离(skills=off 时不得读取技能文件);生成可公开的安全基准报告;用新基准数据更新 README.md;为基准发布创建 CHANGELOG.md 条目;以及 Git 版本打标签(semver vX.Y.Z)。

主要能力与验收标准:扫描需在无基线污染下完成,可通过日志检查确认;通过率计算使用 pass_bool;报告需公开安全(源路径脱敏);README.md 与 benchmarks/README.md 需更新新数据;CHANGELOG.md 需有对应条目;合并后创建 Git 标签。关键指标:pass_bool(官方通过/失败指标,确定性检查)、Delta(skills=on 通过率减去 skills=off 通过率,单位为百分点)、Latency(平均响应时间,秒)。

使用方式:前置条件为 PATH 中有 codex、claude、jq,已配置 ~/.codex 与 ~/.claude 认证,并在仓库根目录 graphistry-skills/ 下工作。步骤:1) 运行评测扫描,命令为 ./bin/agent.sh --codex --claude --journeys all --skills-mode both --skills-delivery native --max-workers 2 --out "$OUT";2) 校验基线隔离,用 grep -l "SKILL.md" "$OUT"/raw/skills_off 判断是否污染;3) 生成公开安全报告,命令为 python3 scripts/benchmarks/make_report.py --public-safe --rows "$OUT/rows.jsonl" --title "Eval Sweep $(date +%Y-%m-%d)" --out-md benchmarks/reports/$(date +%Y-%m-%d)-sweep.md --out-json benchmarks/data/$(date +%Y-%m-%d)-sweep/combined_metrics.json;4) 生成 README 片段,命令为 python3 scripts/benchmarks/readme_snippet.py --rows "$OUT/rows.jsonl" --title "Fresh eval sweep";5) 更新 README.md、benchmarks/README.md 与 CHANGELOG.md;6) PR 合并后执行 git fetch origin main && git checkout main && git pull、git tag -a vX.Y.Z -m "Release vX.Y.Z: <summary>"、git push origin vX.Y.Z。

限制与注意事项:不得将原始 rows.jsonl(含完整提示与响应文本)、manifest.json、otel_ids.json 或原始日志提交入库;入库报告必须使用 --public-safe;官方指标使用 pass_bool,而非 score 阈值;发布前必须验证基线隔离。相关技能:eval-otel(OTel 追踪校验与检查)、plan(多会话任务规划)、release(semver 升级、变更日志、标签与 GitHub 发布流程)。