SuperAPI AI 工具集

benchmark-store

测试与质量

查看项目

更新于 10-15 23:48

技能介绍

用途:管理冻结基准、隐藏测试、Pareto front 与评估标准,供改进流程进行分数对比和回退判定。

主要能力:初始化或查询基准数据库;对比 skill 评分与冻结基线;检查 Pareto front,任何维度回退超过 5% 阈值即拒绝;查阅质量分级标准;向基准库添加新的冻结测试用例;查看某 skill 在所有维度上的历史最优分;为 RegressionGate 提供 Pareto 基线数据;批量列出已注册 benchmark 条目。

质量分级:POWERFUL ≥85%(Marketplace ready);SOLID 70–84%(GitHub);GENERIC 55–69%(需迭代);WEAK <55%(拒绝或重写)。分级基于加权综合分,accuracy 与 coverage 权重各 0.2,security 0.15,其余各 0.1–0.15。

Pareto 机制:使用逐维度检查而非加权平均,避免某维度大幅回退被掩盖。ParetoFront.check_regression(new_scores) 返回 {"regressed": bool, "regressions": [...]},允许 5% 容差。

使用方式:通过 scripts/benchmark_db.py 操作,例如:python3 scripts/benchmark_db.py --action list --db-path benchmarks.db;python3 scripts/benchmark_db.py --action compare --skill-path /path/to/skill --category general --db-path benchmarks.db;python3 scripts/benchmark_db.py --action add --category general --test-name "test1" --db-path benchmarks.db。

数据文件:data/evaluation-standards.md、data/fixtures/、state/pareto.json、benchmarks.db。

限制:不用于给候选打分(用 improvement-discriminator)、自动改进(用 improvement-learner)、全流程(用 improvement-orchestrator)、执行变更(用 improvement-executor)或门禁决策(用 improvement-gate)。