用途:当用户要求“分析这次运行”或询问某模型为何得分低、并给出如 https://convex-evals.netlify.app/experiment/.../run/$runId/... 的运行链接时,使用该技能审查整次评测运行中的全部失败。
主要能力:从可视化 URL 提取 Convex 文档 ID 形式的 runId;先查阅 reports/{provider}/{model}/ 下该模型的历史报告,识别重复性失败与既往处理;再从 evalScores/ 目录运行命令获取失败摘要:
npx convex run --prod debugQueries:getFailedEvalsForRun '{"runId": "<runId>"}'
返回 run(模型、提供方、实验、状态)、totalEvals/passedCount/failedCount,以及含 _id、evalPath、category、name、failureReason、failedStep 的 failedEvals 数组。若无失败,则报告全部通过并停止。
使用方式:为每个失败用例启动子代理(最多并行 4 个),子代理在 evalScores/ 下运行:
npx convex run --prod debug:getEvalDebugInfo '{"evalId": "<EVAL_ID>"}'
随后分析失败步骤与错误、outputFiles 中模型生成的代码、evalSourceFiles 中的期望答案与评分器、eval.task 中的任务描述,并将失败分类为 MODEL_FAULT、OVERLY_STRICT、AMBIGUOUS_TASK 或 KNOWN_GAP,返回包含 eval 名、类别、失败步骤、错误、分类、理由及代码片段的结构化摘要。汇总后输出总体摘要、分类表、跨用例模式与建议(评测改进、lint/配置调整、模型特定说明、无需处理项),并生成报告文件:reports/{provider}/{model}/{runIdPrefix}_{date}.md。
限制:技能明确要求在任何用户请求前不得改动代码或配置;报告需记录 Actions taken(默认 None);若资料未给出具体评测集、模型或环境细节,则暂未提供。