SuperAPI AI 工具集

best-of-n

通用与其它

查看项目

更新于 10-15 21:42

技能介绍

用途:当任务存在多个合理解法、错误选择的代价较高,并且可以用确定性检查或独立评审者评估结果时使用。对于只有唯一明确实现且有直接验收测试的机械性工作,不适用。

主要能力:先冻结契约(评分标准、权重、可观察锚点、通过阈值、平局规则、候选数或预先声明的批次计划、停止规则),再生成候选。默认生成三个候选,仅在预期改进足以覆盖额外生成、打分与验证成本时使用五个。每个候选以不透明标识独立保存,跨生成器不暴露候选文本、分数或推理过程。按固定评分标准对声明的 N 个候选逐一打分,记录准则级证据,强制失败项直接淘汰,再用声明的平局规则选出最高通过候选;任何候选片段的组合都视为新的合成候选,需有自己的 ID、分数与验证。最终运行声明的可执行检查,记录命令、输出位置、退出状态、产物哈希或修订版本以及未覆盖范围,并以 PASS、FAIL 或 UNKNOWN 结束证明日志。

用法:运行协议前需先阅读完整方法文档 Best-of-N: Generate, Select, and Verify。生成前收集任务范围、排除项、仓库修订、环境、权限与预算,验收标准、强制失败条件与可执行检查,以及评分标准、已选定的 TESTING.md 路径(从可移植证明日志模板开始)。若任一项目缺失,应返回 needs_contract 并列出缺失字段,不得先生成候选再补编评分标准。输出精简的 BEST-OF-N 结果记录,并将完整细节写入 TESTING.md,包括任务、契约、所有候选 ID、选中项、验证结论、证据路径与剩余限制。

限制:候选生成不等于选择,选择不等于综合,多数票不是正确性证据;不得把自我评分的生成器作为唯一验收关口;必须在选择前对声明的 N 个候选全部生成并打分,批次运行只能在完整预声明批次评估完毕且满足停止条件后停止,不得持续采样直到答案显得有说服力;不能仅因候选来自不同调用就声称其独立,需说明隔离控制与剩余共享上下文;失败候选与失败检查须保留在证明日志中。若可执行验证无法判定需求,需请未参与生成该候选、且收到全新任务包的评审者介入,并记录共享模型、上下文、工具与仓库访问等关联风险。UNKNOWN 会阻断“该需求已验证”的声明。具体收费标准与平台支持情况暂未提供。