SuperAPI AI 工具集

Evals

测试与质量

查看项目

更新于 10-15 20:31

技能介绍

用途:给 AI 输入后对其输出施加断言,衡量成功并跟踪可靠性。核心结构:case 为 {id, prompt, assert:[...]},断言分确定性(代码执行,快且免费)与模型评分(LLM 评审)两类;多轮试验后报告 pass^k(全部通过,可靠性关键)与 pass@k(任一通过)。

主要能力:Tools/Assertions.ts 提供 equals、contains、icontains、contains-all/any、regex、starts-with、ends-with、is-json、contains-json、max-length、min-length 及 not- 取反;Tools/Judge.ts 提供 llm-rubric(1–5 映射 0–1)与 llm-assert(自然语言断言返回 TRUE/FALSE/UNKNOWN),先理由后打分并强制结构化裁决;Tools/EvalRunner.ts 加载套件、按 case 运行被测代理、计算指标并保存记录与 latest.json;SuiteManager.ts 管理套件与饱和度;FailureToTask.ts 将真实失败转为用例。

使用方式:bun run ${LIFEOS_SKILL_DIR}/Tools/EvalRunner.ts -s <suite> [-t trials] [--json];自检用 Tools/Assertions.ts 与 Tools/Judge.ts。套件为 YAML,含 name、type(regression/capability)、pass_threshold、agent_level、judge_level、trials 及 cases。工作流通过触发语路由,如“run the eval”对应 RunEval.md,“new eval”对应 CreateUseCase.md 等。

限制与注意:判定模型级别须不同于被测代理(默认 agent=medium、judge=high);UNKNOWN 计为失败;is-json 检查整个输出,contains-json 检查内嵌片段;单次推理无工具需注入 [EVALUATION CONTEXT] 后缀;v1 grader-stack 与 @langwatch/scenario 路径已过时且按 API 计费,不建议用于主要工作;无 API 密钥路径。分类:测试与质量。