SuperAPI AI 工具集

ds-best-of-n

智能体与模型

查看项目

更新于 10-29 17:52

技能介绍

用途

ds-best-of-n 是一种任务执行方法,核心思路是“一次尝试只是一个样本,不是最终答案”。通过并行运行多个独立尝试,再择优和拼接,来提高最终输出的可靠性。该方法特别指出,DeepSeek 成本足够低,通常三到五次尝试的总成本低于修复一次糟糕首轮结果的一轮成本。

主要能力

  • 为同一任务生成多个独立尝试,每个尝试使用完全相同的提示词和共享上下文。
  • 为每个尝试分配独立的输出位置,例如 git worktree 或独立的临时文件夹。
  • 支持并行启动 N 个子代理;若运行框架不支持子代理,则在全新上下文中依次运行各尝试。
  • 要求每个尝试提交产物,并附上被拒绝的备选方案简短说明。
  • 对每个尝试运行构建、测试或快速探测,记录通过或失败及输出,丢弃无法运行的尝试。
  • 使用私有评分标准对存活尝试打分,选择整体结构最好的作为基础。
  • 列出其他尝试中的具体强项(如某个测试、边界情况、更简洁的函数),仅将这些部分移植到基础中,不合并整个文件。
  • 对嫁接后的结果重新运行完整检查并展示输出。

使用方式

  1. 框定任务:写一个所有尝试都会原样收到的提示词,并写一份私有的评分标准,包含 3 到 6 条具体、可检查的标准。尝试本身看不到评分标准。
  2. 选择 N:默认使用 3;当设计空间较宽时使用 5。为每个尝试分配独立的输出位置。
  3. 启动尝试:一次性启动 N 个子代理,传入提示词、共享上下文和各自输出路径。要求每个尝试提交产物,并附上被拒绝备选方案的简短说明。若无法运行子代理,则在全新上下文中依次运行。
  4. 检查每个尝试:运行其构建、测试或快速探测,记录通过或失败及输出。丢弃无法运行的尝试。
  5. 评分:对存活尝试按评分标准打分,选择整体结构最好的作为基础。结构优先于打磨程度。
  6. 移植:列出其他尝试的具体强项,仅将这些部分移植到基础中,不合并整个文件。
  7. 复检:对嫁接后的结果重新运行完整检查并展示输出。

适用场景

  • 单次尝试结果不可靠,需要提高输出质量的编程或设计任务。
  • 设计空间较宽、需要探索多种方案的任务。
  • 使用 DeepSeek 等低成本模型,能够承担多次尝试成本的情况。
  • 需要客观验证结果(构建、测试、探测)的场景。

限制与规则

  • 绝不能通过阅读尝试自己的总结来选择,必须通过运行来评判。
  • 在评分之前,不允许一个尝试看到另一个尝试。
  • 在最终检查通过之前,保留失败的尝试。
  • 停止条件:嫁接结果通过所有检查,并已报告基础、移植内容和评分;或使用澄清后的提示词重新运行一次后仍无尝试通过,则报告失败内容。
  • 该方法依赖子代理或全新上下文运行能力;若运行框架不支持,需依次运行。
  • 评分标准为私有,尝试不可见,需要人工或外部机制维护。
  • 资料未提供具体工具实现、安装命令或代码示例。