用途:为自动研究(autoresearch)改进运行搭建一个独立的评估实验室 git 仓库,其中包含插件文件的硬拷贝(非符号链接)、已安装的 os-eval-runner 引擎,以及供评估智能体执行的定制版 eval-instructions.md。触发语包括“set up an eval lab”“bootstrap the eval repo”“prepare the test…”。
主要能力与用法:
- 信息采集:依次确认实验仓库路径、目标插件路径、目标技能名、GitHub 仓库 URL、轮次标签、agent-plugins-skills 根路径,以及主指标(quality_score 默认、f1、precision、recall、heuristic)、优化策略(scores-only、traces 默认、full)与提议用 CLI(copilot 默认、gemini、self)。
- 引导仓库:设置 git remote、清理 .agent/.agents/.gemini/.claude、用 cp -RL 硬拷贝插件、清理 pycache、提交并推送、校验 Python 版本(需 3.8+)。运行前需先设置 PLUGIN_NAME、SKILL_NAME、LAB_PATH、SKILL_EVAL_SOURCE 等变量,并用 cut 解析 PLUGIN_NAME(第二段而非 plugins),通过 echo 校验。
- 生成指令:调用本技能 scripts 目录下的生成脚本: python $APS_ROOT/plugins/agent-agentic-os/skills/os-eval-lab-setup/scripts/generate_eval_instructions.py --template … --out $LAB_PATH/eval-instructions.md --skill-display-name … --skill-name "$SKILL_NAME" --plugin-dir "$PLUGIN_NAME" --mutation-target "SKILL.md" --repo-url "$GH_URL" --round-label … --engine-source "$SKILL_EVAL_SOURCE" --master-plugin-path "$APS_ROOT/plugins/$PLUGIN_NAME"
- 确认与执行:报告仓库路径、remote、拷贝文件、引擎位置与 eval-instructions.md 位置;用户可选择手动方式(在新会话中让智能体跟随 eval-instructions.md)或自主方式,后者用 agy --yolo -p 等命令在后台启动编排器(资料注明旧 gemini CLI 已弃用)。
适用场景与限制:适用于需要反复变异 SKILL.md 并用评分门控保留改进的实验流程;实验室中的 os-eval-runner 副本本身也可能成为突变目标(元循环改进),回溯时需重点审查评分逻辑改动。资料提醒实验仓库通常在当前工作区之外,修改前需取得完整文件访问权限,否则只能用 mkdir、cp、echo 等原生 bash 操作。依赖 os-eval-runner 与 copilot-cli-agent,安装方式见 INSTALL.md;具体安装命令与其余细节资料未完整提供。