SuperAPI AI 工具集

run-mcpjam-evals

测试与质量

查看项目

更新于 10-16 00:22

技能介绍

用途:围绕已存在的评测套件,驱动 MCPJam 托管评测工具完成一次完整流程,包括查询套件、运行前披露、启动、轮询到终态、诊断失败与基线对比。

主要能力与调用顺序:list_eval_suites 返回套件及最近运行摘要与通过率趋势;get_eval_run_disclosure 只读免费,说明本次运行将调用哪些模型及其路由、会触发哪些评审、采集或保留什么;run_eval_suite 异步,立即返回 runId,服务端继续执行;get_eval_run 轮询直到状态为 completed、failed 或 cancelled;get_eval_run 的 decisionSummary 含 verdict 与 verdictSource,用于判断实际决定结果的因素;list_eval_run_iterations 分页,需用 nextCursor 作为 cursor 继续取;get_eval_run_steps 需 runId 与 iterationId;compare_eval_run 用 baseRunId 或 baseCommitSha 将各用例归类为 regressed、fixed、new_case、removed_case、changed、unchanged_passed、unchanged_failed;cancel_eval_run 可终止进行中的工作,需先确认。

使用方式与限制:project 是每个工具的第一个参数,应显式确定并复用;runId 来自 run_eval_suite 结果或 list_eval_suites 最近运行摘要;iterationId 来自 list_eval_run_iterations。run_eval_suite 与 request_eval_run_judge 会消耗组织模型预算,且启动后不可逆,首次消费前应确认套件、用例数量及迭代倍数,不要循环调用或用于轮询,可能重试时传 idempotencyKey。轮询应等待并逐步延长间隔,不要因未就绪而重复启动。失败运行已计费,应先按 references/triage.md 诊断,再决定是否重跑。本技能仅运行已有评测,创建评测文件请用 create-mcp-eval 或 mcpjam-eval-import。