SuperAPI AI 工具集

eval-iterate

智能体与模型

查看项目

更新于 10-16 06:49

技能介绍

用途:eval-iterate 用于处理失败的 AI/LLM 评估,把目标 eval 从失败驱动到「确认绿」。输入可以是 eval 标识(L2 套件名、golden-set 文件路径、test/eval 文件路径)、带失败 eval 检查的 PR URL,或留空以自动检测当前分支开放 PR 上的失败 eval。支持 --max-iterations <n>,只能下调上限至低于 5,传入大于 5 会被钳制为 5。

主要流程:Phase 0 解析目标并捕获基线失败(必须实跑,记录 BASELINE_FAILURE;若评分涉及模型调用,还记录 JUDGE_MODEL)。Phase 1 解析运行命令 RUN_CMD 与评分路径 GRADING_PATH(judge 或 deterministic),RUN_CMD 全程保持不变。Phase 2 必须给出唯一判定:code-bug、eval-bug(含 mis-specified 或 stale-criteria 子类型)、judge-drift、flaky、unsure。Phase 3 应用最小修复;改动 eval 定义需过 anti-gaming-guard。Phase 4 重跑并确认:确定性评分为连续 2 次通过,judge 评分为连续 5 次通过。Phase 5 迭代或在上限处停止。Phase 6 输出结构化报告。

关键约束:不得删除、跳过、.skip/xfail 或排除失败用例;不得擅自放宽阈值或断言;不得就地覆盖已有 golden-set 用例;不得吞掉失败退出码;不得禁用对应 CI 步骤。编辑断言、阈值、golden 项或 judge 提示词需要第二独立检查、confidence(analysis) >= 90% 及书面理由。迭代上限硬性为 5 次,不得突破。

依赖与组合:该技能是围绕 ai-engineering、confidence、critical、verify-behavior 等已有技能的薄循环,不重新实现其逻辑;若配套技能未安装,应回退到在上下文中执行等价步骤。缺省分类为 other-ai-tools。