SuperAPI AI 工具集

deepswe-analyze

通用与其它

查看项目

更新于 10-15 22:16

技能介绍

用途:把一周的 Harbor 运行结果(DeepSWE、SWE-bench Pro,或任何已接入适配器的 scaffold/基准)复现为失败原因分析。所有数值均从本轮 trials 重新计算,不沿用上一周数据。

主要能力与用法: 1)Briefs:执行 scripts/pipeline.sh <repo> <week> briefs <jobs...>,为失败试验写 jobs/analysis-briefs/<id>.md(含任务说明、参考补丁、模型补丁、失败测试、带 [call N] 标记的完整 transcript),通过试验写 jobs/analysis-wins/<id>.md;pending.json 列出待判定 id。 2)失败判定:启动 references/workflows/1-failure-judge.js,args 传 pending ids 或 {"file": "<每行一个 id 的文本>", "count": N}。每个试验一个 Sonnet agent,effort: high,须完整读取 brief,写出 jobs/analysis/<id>.json(13 键 schema);提示词须以前缀 "Do this work YOURSELF. Do not spawn sub-agents." 开头。 3)Validate:scripts/pipeline.sh <repo> <week> validate,移除不符合 schema 与自洽规则(analyze.py 的 inconsistency())的判定,再对移除 id 重跑第 2 步。 4)Taxonomy relabel:Workflow references/workflows/2-taxonomy-relabel.js,增加分类块(根因/阶段/失败后行为,定义见 references/taxonomy.md)。 5)成功判定与对比对:Workflow references/workflows/3-winners-contrast.js;成功判定须带校准语 "passing does NOT prove the requirements were met";对比对为同模型、同仓库或任务、一通过一失败,decisive_factor 取值 approach_differed、verification_differed、task_was_harder、luck。 6)一致性检查:第二个盲 Sonnet agent 对 --crosscheck 试验在三个分类轴上独立重判,计算 Cohen's kappa;若根因 kappa < 0.6 则停止并告知用户,不得静默继续。 7)Collect + deploy:scripts/pipeline.sh <repo> <week> collect <jobs...> 与 ... deploy <jobs...>,生成 site/weeks/<week>/{trials,meta}.json、traj/ 与 site/weeks.json 头条。 8)周报:写 docs/weeks/<week>/summary.md(三句话,洞见在前)与 notes.md(通过率对比、根因/阶段分布及环比、对比决定性因素拆分、kappa 行、incidents、待决事项),数字仅来自 trials.json,再执行 bash refresh.sh <week>。

适配器:deepswe/collect.py 假定 mini-swe-agent 轨迹与 DeepSWE 任务元数据(task.toml → language、category、solution/ 下 gold patch);新 scaffold 需新增 turns_from_* 读取器并打 scaffold 标签,新基准需新增 task_meta 读取器并打 benchmark 标签。

限制与注意:不得用作业目录子集对已有周目录运行 collect,否则会覆盖 trials.json;judge 提示词两侧均需校准警告;post_failure_behaviour 若从抽取证据标注 kappa 仅 0.29,应视为仅供参考,除非从完整 transcript 重标;重复(task, model)需标记 superseded;不要 grep site/index.html,改用 Python。输入参数 repo 默认 /w/seungpil.lee/deepswe,week 为 YYYY-MM-DD 会议 id,--sample-wins N 与 --crosscheck N(默认 30)可选。

返回给调用方的输出:markdown 块,含各模型通过率、根因族拆分、阶段拆分、对比拆分、各轴 kappa、判定/移除/重判数量、?week=<week> 的 site URL 与待决事项。