SuperAPI AI 工具集

eval-author-trace-environment

测试与质量

查看项目

更新于 10-16 09:46

技能介绍

用途:读取 eval-author 共享证据标准,将单条记录交互轨迹转换为可复现的 Harbor 或原生 Gym 任务,带隐私清洗与提供商原生验证;每个轨迹只生成一个任务工作区。

主要流程:1. 用 init --task-id <task-id> 创建私有工作区,任务 ID 为小写 kebab-case,不得含姓名、邮箱等私密值;2. 将唯一来源规范化为 ATIF,MLflow 经 mlflow-to-atif,Intake 读取一条精确轨迹及全部详细 span,OTLP JSON 导出直接映射;Gym 走 gym-to-atif;缺失或损失字段记入 extra.normalization。

安全副本:运行 python <skill_dir>/scripts/trace_environment.py prepare --task-dir <task-dir> --atif <canonical-atif-file> --source-kind <atif|mlflow|intake|otel|gym>,保留私有原件并生成净化副本与私有审计文件;需人工复核每个文本字段,再用 review-privacy 记录复核者。图片指令会阻断候选择。

工具调用:对含工具调用的轨迹,运行 inventory-tool-calls、plan-tool-call-access、resolve-tool-call-access --decisions <decisions.json> --reviewer-kind <agent|human>;如有 mock 决策则运行 generate-mock-tool-calls。每个受范围工具需选择 real、mock 或 none,否则无法完成候选。MCP 适配器做精确匹配回放。

基准真值与软件:需从独立参考、期望输出、验证器输入或人工反馈中判定 ground truth;记录软件依赖的版本、许可证、可再分发性与可用性。依赖不可得会阻断候选;专有软件仅在合法可复现运行路径下可用,禁止复制授权二进制。评分路径不得下载依赖或访问在线服务。

候选判定:用 safe/trace.atif.json 作为证据,引用真实 ATIF step_id;无法复现或客观可测时记 no_candidate。

构建与验证(Harbor):在 <task-dir>/task/ 下创建最小任务,tests/test.sh 每项评分检查输出 check-id\tPASS|FAIL 到 /logs/verifier/results;循环运行 validate-task 与 probe(NOP 应全部失败、Oracle 应全部通过,探测不算证明),再用 harbor run -p <task-dir>/task -a nop --jobs-dir <task-dir>/private/jobs --job-name nop-1 记录 nop-1、nop-2、oracle-1、oracle-2,并做负对照;可修复缺陷最多修复三次,不得为让 Oracle 通过而弱化验证器。

收尾:用 finalize 记录事实(--status candidate --human-reviewed --worked-well ... --did-not-work ... 或 --status no_candidate --reason ...),再运行 check 校验摘要与产物。缺少 Harbor 或 Docker 时技术状态为 not_run,环境为未证明。Harbor 批量运行需提交稳定任务 ID 与来源路径的清单。源轨迹、凭证与任务工作区不得进入 Git。

限制:全部工作流与输出均为实验性;扫描器无法判断专有代码是否安全;多数轨迹未记录初始工作区,必要时以 reconstructed 状态构建并声明;不添加模型裁判,不把主观或视觉结果转为字符串检查。其他细节(价格、平台等)暂未提供。