eval-harness 是一个面向智能体（agent）与技能（skill）质量的评估框架，通过结构化基准测试、回归测试和质量评分来检验其表现。
用途 该框架用于测试智能体和技能的质量。它通过定义测试用例、运行评估、打分和对比基线，帮助判断智能体或技能是否达到预期标准。
主要能力
- 智能体评估：定义带已知正确答案的测试用例，让智能体逐条运行，按准确性、完整性、相关性打分，并与基线表现对比，跟踪长期性能变化。
- 技能质量测试：验证技能指令是否产生预期结果，测试边缘情况和边界条件，衡量多次运行的一致性，检查是否存在有害或错误输出，并与基准真值（ground truth）校验。
- 回归套件：收集此前通过的测试用例，在智能体或技能发生任何修改后运行，通过前后对比标记回归，并维持通过率阈值（>= 95%）。
- 流程验证：以已知输入执行端到端流程，验证每个阶段是否产生预期输出，检查任务顺序与依赖是否满足，并测量总执行时间。
质量评分
- 准确性得分（0-100）：输出相对预期的正确程度，部分正确可获部分分数，对幻觉或编造内容扣分。
- 完整性得分（0-100）：对所需输出要素的覆盖程度，缺失部分会被标记并扣分，有用的额外上下文可加分。
- 一致性得分（0-100）：同一输入运行 3 次，比较输出的语义相似度，标记不一致情况。
- 综合得分：准确性 * 0.4 + 完整性 * 0.3 + 一致性 * 0.3，阈值 80 分视为通过。
使用方式 资料未提供具体的安装命令、代码示例或调用步骤，暂未提供。
适用场景
- 创建新的智能体或技能之后
- 修改现有智能体或技能之后
- 定期质量审计
- 将技能推广到生产环境之前
限制与依赖 该框架由流程级评估编排器使用，本身不依赖特定智能体（它用于评估其他智能体）。资料未提供关于收费、价格、支持平台或具体效果的信息，暂未提供。