近期猜想评估(Recent Conjecture Evaluations)是一个用于检验 Jacobian 可靠性的技能。它把近期已解决的数学猜想当作留出探针(held-out probes)使用,最终目标不是汇集已解示例,而是给出有证据支撑的诊断结论。该技能负责源选择、确定性重放、可选的模型对比以及归因分析;Harbor 打包是另一套独立工作流,不在本技能范围内。
用途与模式
技能提供三种按需选择的模式:
- 探针(Probe):针对单个源周期执行探针工作流,涵盖源门控(source gating)、独立 oracle、当前 main 分支重放以及报告。
- 评审(Review):对照源门控、oracle 与冻结输入以及适用的评分规则,检查已完成的周期;利用报告字段识别缺失的证据。可在有用时复现存在争议的确定性结论,但不要重复运行模型分支。
- 协调(Coordinate):针对源与根因机制,检索已保存的报告、预留记录以及 issue/PR 归属。使用下方展示的 inventory 辅助脚本与行动策略中的归属规则;不要仅为了回答协调问题而启动新的探针:
python .agents/skills/recent-conjecture-evaluations/scripts/search_inventory.py
"source or root-cause phrase" outputs benchmarks/results
证据边界
使用中需要保持证据边界:将提示、载荷与 oracle 绑定到确切的目标输入;独立于受评估的模型分支重建 gold,并区分源提供的重放与独立 oracle;记录精确的源状态与日期。计算、验证、导入的定理与未经证明的断言各自确立不同的事情。超时、不可用的操作与缺失的见证均属于非结论(non-conclusions)。永远不要把模型的回退或转录错误归因于 Jacobian。
执行与成本控制
在付费模型调用之前,先在当前 main 分支上对新的探针进行确定性审计。只有在直接证据无法解决不确定性时才运行对比,并遵守用户授权的成本边界与冻结的对照/处理条件。不得削弱验证,也不得为让探针通过而创建基准专用的操作。在采取外部行动之前,需在既有用户授权范围内应用行动策略。该评估工作流最多产出局部化的草案 PR;合并是另一项需用户授权的独立任务。
完成与停滞处理
默认完成一个被请求的周期,包括被拒绝与仅确定性的结果。oracle 分歧会停止依赖它的模型评估,但允许进行有界诊断。已知不可用的操作会跳过依赖它的工作,但不跳过归因与报告。在阶段边界处保留检查点与原始证据;对没有检查点的阶段进行 30 分钟检查。追加周期或模型调用必须符合操作者请求的范围与成本限制。只有在出现新的诊断证据时才重试已取消的调用。一旦达到约定的独立性阈值,就停止为某一已归属的根因继续收集示例。报告未解决的证据以及一个明确的下一步方向,但不要悄悄开始执行它。
适用场景与限制
该技能适用于需要系统性评估 Jacobian 在真实、近期已解猜想上表现的情形,尤其强调可复现的确定性审计与严格的证据归因。其限制包括:需要遵守用户授权的成本与范围边界;不能通过削弱验证或添加专用操作来使探针通过;合并草案 PR 需另行授权;资料未提供具体的收费、价格、平台支持细节,暂未提供。