用途:在投入资源前检验用户持有的一个想法。适用于研究假设、设计选择、预期可行的机制、对模型或智能体行为的预测,以及计划中的关键假设。一次只检验一个想法;若一条消息含多个想法,先检验其他想法所依赖的那个。
主要能力:把想法重述为一句可检验的陈述(改变什么、在哪个系统或人群上、如何测量、与什么比较、在什么条件下);构建最强支持版本(steelman),给出机制、支持证据及位置、最可能成立的条件;再给出最强反驳,包括反证、最接近的先前工作及其差异、隐藏假设、失效条件,并按对决策的影响排序。每个支持或反驳点标注为 evidence、inference 或 speculation。
决定性的测量:指出结果会因支持方或反驳方正确而不同的测量,写明测量什么、在哪些数据上、对照哪个基线、什么结果算支持、什么结果算反驳,并在运行前写下预测。优先使用已有证据、小型探针或消融、现有评测集,最后才是新训练或数据收集。
状态与记录:给出 supported、contradicted、inconclusive 或 unmeasured 状态,并引用证据位置(文件路径、运行标识或论文及章节)。不给出总体评分、概率或 go/no-go 结论。若所属工作已有批评记录,按既有格式追加一条带日期的条目;否则在对话中回答,仅在用户要求时创建记录文件。
限制:不主动提出新想法,除非用户要求;反驳不转化为替代方案。运行新实验需用户请求,实验设计与执行属于 ml-experiment 和 evaluation-design。涉及防御或攻击方法时,只写方法论层面的边界、目标类别、指标、评判、环境和预算,不写攻击流程或具体对抗输入。资料未提供具体安装命令、收费或平台信息。