用途:对 SkillsBench 任务的 PR 做端到端审阅,产出人类可读的 .txt 报告与 pr<N>.zip 审阅包(结构参照 PR #560 评论)。流程按顺序执行:fetch(用 gh API + raw 下载 PR 文件到工作区,不用 git checkout)、route(分类赛道并选择对应 rubric)、policy(静态策略检查,不执行)、benchmark(oracle + claude×{skills,no} + codex×{skills,no} 共 5 组配置)、audit(读轨迹,检查技能使用、作弊、失败根因)、report(填 report-template.txt 并打包区间)。命令示例:scripts/fetch_pr.sh <pr_number> <workspace>;scripts/run_experiments.sh <task_dir> <jobs_root>;scripts/parse_results.py <jobs_root> --out <out_dir>/summary.json;scripts/package_traj.sh <pr_number> <jobs_root> <report_txt>。赛道判定:task.md 声明实时网络/API key、或 verifier 在验证时导入网络客户端 → research-track;输出为非文本产物(.pdf/.mp3/.pptx 等)且测试打开解码 → multimodal-track;否则为 standard-track。静态策略检查中,若 task.md 提示词为 AI 生成、作者非真人、oracle 直接回显答案、测试或解法被复制进镜像、技能依赖未安装,则先停下请求修改。默认模型为 claude-opus-4-7 与 gpt-5.5(裸 ID,无 provider 前缀),运行前需重新确认最新模型。认证优先 OAuth:Claude 用 CLAUDE_CODE_OAUTH_TOKEN 等,Codex 用 ~/.codex/auth.json。审阅结论可为 APPROVE、APPROVE WITH CAVEATS、MAJOR CHANGES NEEDED、REJECT / CLOSE。约束:不要创建 releases、tags 或辅助分支来托管审阅产物,报告以文本围栏内联在 PR 评论中,zip 留在本地路径并告知用户。具体 rubric 细节、审计原则与模板内容在资料中未完整给出,使用前需参考对应文件。
task-review
写作与研究
更新于 10-15 20:06