用途:为智能体建立可度量的行为评估框架,把“凭感觉上线”变成可回归的测试。工具只对智能体打分,不调用智能体,因此可离线在每次提交时运行。
主要能力:场景套件与结构化断言(tool_called、tool_not_called、tool_call_order、tool_arg_equals、json_field_equals、output_contains 等);对已录制工具调用做确定性回放;跨提示词与模型变更的成对回归对比;按场景设置成本与延迟预算;按 critical/major/minor 分级门禁。
使用方式:先确认不可逆动作、是否已有录制记录、套件门禁用途与已知失败模式。用 scenario_runner.py 对录制记录打分,例如:python3 engineering/agent-harness/scripts/scenario_runner.py --suite engineering/agent-harness/assets/sample_suite.json --transcripts engineering/agent-harness/assets/sample_transcripts_baseline.json --strict-critical。用 eval_diff.py 做基线/候选对比,例如:python3 engineering/agent-harness/scripts/eval_diff.py --baseline engineering/agent-harness/assets/sample_baseline_report.json --candidate /tmp/candidate.report.json --fail-on-regression --drift-threshold 0.15。
适用场景:智能体上线前评估、提示词或模型变更回归、模型配置对比、事故转为永久回归测试、成本与延迟漂移跟踪。
限制:不调用智能体,需已有录制记录;语气、有用性等主观质量需外部模型评分,本工具不覆盖;小样本下显著性检验能力有限,安全类失败应单条即阻断;具体收费、平台支持等信息暂未提供。