用途 Harness Experiment 用于把对 harness（智能体运行框架或脚手架）的改动当作一次受控实验来验证。其核心原则是：先测量、每次只改一处、只保留经测试存活的改动。该技能是 MCode Engineering Notes 01、02 和 06 的配套内容。
使用方式
-
改动之前：用一句话陈述假设，说明要改什么、预期改善什么、可能恶化什么。挑选或构建一个小规模端到端评估集，少量黄金任务即可起步，但需包含智能体在生产中运行的每条链路以及每条不可违反的规则。检查项不得由被测智能体编写，因为智能体自写的测试会带有同样的盲点。固定其他所有条件：相同模型版本、设置、工具集与仓库状态；若模型本身变化，则把该升级视为唯一改动并重跑同一评估。记录基线：每个任务多次运行，因为智能体运行存在噪声，单次运行可能掩盖失败。
-
只做一处改动：一次提示词编辑、一个工具移动、一个子智能体合并、一个阈值调整。若需多处改动，就分成多个实验。
-
两侧测量相同指标：基线与候选版本均记录各任务通过率（多次运行）、翻转任务（通过变失败、失败变通过）、每任务模型请求数、输入与输出 token、缓存命中率、墙钟时间。只报告实际测量到的数字，并附运行次数。
-
解读结果：打开每个翻转任务查看轨迹而非仅看最终答案，查明翻转原因。分数持平但减少请求或 token 的改动可能是收益；提高平均分却破坏不可违反规则的改动不可接受。证据混杂时保留更简单的版本。将结果写下来：假设、改动、数字、翻转任务、决策，最好放在代码旁的 PR 描述或实验日志中。
-
模型升级后复查：围绕模型弱点搭建的脚手架老化最快。每次模型升级后重跑评估，并审视 harness 各部分是否仍值得保留。
输出 一份简短实验记录：假设、单一改动、评估集与运行次数、基线与候选的指标表、翻转任务及原因、决策（保留/回退/迭代）。
适用场景与限制 适用于智能体框架、提示词与工具配置的迭代验证。资料未提供具体平台、价格、安装命令或代码示例；评估集规模、运行次数等细节需使用者自行确定。