用途:在任何实验、基准测试、A/B 测试、spike 或评测运行之前,先写下并提交决策依据,避免在看到结果后悄悄调整阈值或标准。核心产物是一份“call block”:六行内容,在运行开始前提交,包括:带单位的指标、预测数值(点估计)、80% 区间、P(survives) 自身胜率、最可能出错的原因、以及现有文件中是否已有可回答该问题的产物。其中第 3 行是算术判断:若自身区间比“继续/停止”的决策带宽还宽,则运行无法区分结论;第 6 行常能直接取消不必要的运行。
使用方式:scripts/call_block.py 可校验该 block(含算术)。加 --committed-before RESULT 时读取 git,要求 block 在结果出现前已进入历史且此后不再变动;事后修正只能作为附加 amendment,带独立时间戳与原因,不能就地编辑。机制细节见 references/registration.md。
主要规则:阈值在 block 提交时即冻结;结果可见后降低阈值等于把测试变成对已发生事情的描述。null 结果也需在 block 中预先指定其去向。运行过程中不要调整(改臂、调参、手工完成步骤);被干预的运行只能视为故事而非实验,应停止、记录干预并重新注册或丢弃。
限制:未提供平台、价格、收费或具体效果数据;相关技能包括 negative-result-taxonomy、measure-before-optimizing、authority-dissociation、drift-to-gate、rfc-writer、distill-the-rule。