harness-experiment
Harness Experiment 是一个用于“受控实验”的技能:把对 harness(智能体运行框架/脚手架)的任何改动当作一次实验来验证。它强调先测量再改动、每次只改一处、重复运行以观察噪声,并要求对小规模端到端评估集进行基线记录与对照测量。评估需覆盖智能体在生产中运行的每条链路及不可违反的规则,测试不能由被测智能体自行编写。测量指标包括各任务通过率、翻转任务(通过变失败、失败变通过)、每任务模型请求数、输入输出 token、缓存命中率与墙钟时间。只报告实际测量到的数字并附运行次数;对每个翻转任务都要查看轨迹、查明原因。若改动保持分数不变但减少请求或 token 可视为收益;若提高平均分却破坏不可违反规则则不可接受;证据混杂时保留更简单的版本。结果需记录假设、改动、数字、翻转任务与决策(保留/回退/迭代),建议写在代码旁的 PR 描述或实验日志中。模型升级后应作为唯一改动重跑评估,并重新审视 harness 各部分是否仍有价值。适用于智能体框架与提示工程的迭代验证。