SuperAPI AI 工具集

verifier-evaluations

测试与质量

查看项目

更新于 10-27 06:47

技能介绍

验证器根据冻结输入和有界提交来判定基准的数学谓词,它不评判文字、置信度、工具使用,也不要求与某个偏好解法相等。仅当任务还涉及 Harbor 打包、环境变更或执行指引时,才使用 harbor-benchmarks。

建立契约

选择最小可检查的提交形式:带类型的结果、带必要有限见证的结果,或受支持的形式化证明。除非规范化本身就是明确的任务产物,否则应接受数学等价的表示。可见指令与 schema 必须描述所有被强制执行的条​​件,且不得泄露解法或派生结论。

对于新增或变更的提交形状,需阅读提交契约,包括见证选择、schema 缩减和独立结果字段。修改该形状时,保持指令、schema、验证器、金标准、公开契约与宿主测试一致。

重放与评分

解析前先限制输入;计算前强制精确的类型与形状。对冻结的验证器副本重放数学计算。畸形提交必须产生确定性的假谓词和奖励产物,而不是宿主异常。输入绑定、数学正确性与声明的见证有效性在可独立观察时保持为独立诊断项;必需的门禁在奖励中合并。默认奖励为二值。部分得分需要显式声明、相互独立的数学子声明。

关于实现、诊断绑定异常、产物/路径处理或回归测试,需阅读重放与攻击相关内容。除畸形输入用例外,还需保留其他有效见证和一个有区分度的错误数学断言。自然语言证明需人工审查,除非形式化或可执行证书使其可检查。

完成修复

当验证器或任务契约变更时,运行针对性的行为攻击、选定的 Oracle 以及仓库计划中的 Harbor 门禁。通过任务准备工作流,在验证器编辑后刷新选定的 Dockerfile 校验和。共享支持的变更需要受影响的本地任务副本和 Oracle;历史快照保持不变。

报告实际命令、任务摘要、Oracle 结果和延迟验证。验证器测试、Oracle 通过、仓库门禁与因果基准比较构成不同的证据。