SuperAPI AI 工具集

context-eval

测试与质量

查看项目

更新于 10-15 16:49

技能介绍

用途:衡量、基准测试、比较与验证某个上下文工程 harness 是否提升智能体结果。核心方法是对同一批任务分别在有该 harness 与无该 harness 的条件下运行,依据断言打分,并计算增益与 token 成本的比值。

主要能力:提供一套评估循环(定义待测 harness、编写 3-5 条真实用例、定义成功断言、实际运行、打分、计算差值、迭代),并附带一批脚本与协议文件,包括 grader.md(打分协议)、schemas.md(JSON schema)、generate_report.py(生成评估报告与结论)、aggregate_benchmark.py(汇总打分)、estimate_tokens.py(估算 harness 的 token 成本)、generate_viewer.py(生成 HTML 查看器)、comparator.md / analyzer.md(盲比较与影响分析)、anti-patterns.md(反模式指南)、optimize_harness.py(自动优化循环,需 LLM CLI)。

使用方式(按步骤):1. 定义 harness 与基线,用 estimate_tokens.py 估算成本;2. 写 3-5 条真实、多样、有难度的任务提示,存到 evals/evals.json;3. 从结果、精确度、效率三个维度定义断言;4. 必须真正运行——有子代理时并行跑有/无 harness 两版,无子代理时先无后有顺序运行(并在报告中标注此方式明显更弱),结果存入 workspace/iteration-N/eval-{id}-{name}/ 的 outputs 目录;5. 按 grader.md 逐条断言打分,保存 grading.json;6. 用 generate_report.py 计算差值;判定阈值:平均增益 ≥0.25 且多数用例改善为 EFFECTIVE,0.05–0.25 或不一致为 MARGINAL,<0.05 为 INEFFECTIVE,<0 为 HARMFUL;7. 按提示词模板展示结果并生成查看器;8. 可选迭代、盲比较与自动优化。

适用场景:验证项目编码规范、技能或方法论类 harness 的收益;向相关方展示 harness 实际效果。

限制:资料未提供安装步骤;部分脚本依赖 Python 3,自动优化需 LLM CLI,否则只能保存提示手动应用;盲比较需子代理;无文件系统查看器时只能在对话中展示。评估必须实际运行,事后分析不算评估。