SuperAPI AI 工具集

octocode-graph-eval

通用与其它

查看项目

更新于 10-15 17:25

技能介绍

用途:为单循环或循环图提供可衡量的改进闭环,用证据决定保留或丢弃变更。流程为 ERROR-ANALYZE → FRAME(goal→KPI) → BASELINE → LOOP → JUDGE → CAPTURE → VERIFY → SUITE-EVOLVE。

主要能力:提供 ErrorAnalyze、Define、Run、Suite、Benchmark、Audit 六种模式;将失败轨迹归入失败分类;定义成功指标、主指标、护栏与决策规则;在固定预算下测量基线;以最小变更进行保留/丢弃判断;评估评分器质量、公平性、能力与回归、污染;验证留出结果并补充失败用例。

使用方式:按当前步骤加载对应参考文件,例如推导失败时加载 references/error-analysis.md,连接意图与度量时加载 references/goal-kpi-cascade.md 并填写 references/kpi-contract.md,选择实验范围时加载 references/nested-loops.md,内层循环加载 references/agent-loop.md。多智能体工作流先加载 references/graph-of-loops.md,运行边检测、锚点节点、验证器独立性与 Goodhart 护栏检查。报告时加载 references/output.md 并运行 scripts/loop-report.mjs。修改本技能后运行 scripts/check-description.mjs,随后运行 scripts/eval-eval.mjs --self-test 与匹配的 --case,用例位于 evals/。

适用场景:需要可衡量保留/丢弃循环的评估、基准、审计与套件演化;多智能体循环图的结构性风险评估;在实验中冻结 harness,仅在实验之间演化套件。

限制:没有目标→KPI 链接、没有可测量主指标、没有可运行传感器时应停止或先构建传感器;仅叙事性接受应拒绝;为通过而修改 harness、用例或评分器应拒绝;主指标改善但护栏退化时应重新定义目标;验证器与执行器共享上下文不算独立;每个图至少需要一个不可争辩的锚点节点。其他具体功能、收费、价格、平台与效果暂未提供。