SuperAPI AI 工具集

judge

编程与开发

查看项目

更新于 10-15 10:42

技能介绍

用途

Judge 是 Speed-Run 中的评分技能,用于对并行生成的多个实现进行统一、可比较的评分。它既可服务于 "Showdown" 场景(同一设计、不同实现,如 runner-1、runner-2、runner-3),也可服务于 "Any%" 场景(不同方法或设计,如 variant-a、variant-b)。技能文档中统一使用 "impl" 指代被评的每个实现。

主要能力

  • 五维评分框架:适配度(fitness)、复杂度合理性、可读性、健壮性、可维护性,每项 1 至 5 分,总分上限 25 分。
  • 硬性门槛(自动生效):
    • 适配度门槛:若两个实现之间的适配度差值大于等于 2,则适配度更高者立即获胜。
    • 关键缺陷:若任一维度得分为 1,则该实现被淘汰。
  • 适配度门槛的解释随场景不同而不同:在 Showdown 中,各实现本应遵循同一规格,适配度差距过大通常是警示信号;在 Any% 中,不同方法本身可能确实存在优劣,差距大意味着某一方法明显更优。两种情形下,适配度更高者都获胜。
  • 决胜机制:当总分相同或相差不超过 1 分时,优先选择速度运行效率更好的实现,即使用更少的托管 LLM 修复循环、更少的总托管 LLM 调用、更快的代码生成。这鼓励对速度运行流水线的更好利用,而不仅是代码质量。
  • 可行性红旗检查:在评分前检查是否存在无界数据上的 O(n²) 或更差复杂度、内存无界增长、自我 DDoS 模式(轮询、无退避)、缺少分页、热路径中的阻塞 I/O、无错误恢复等问题。

使用方式

  1. 读取全部实现代码(应已在上下文中)。
  2. 为每个实现填写工作表,不得跳过任何分区。
  3. 填写 Speed-Run Metrics 表格。
  4. 检查硬性门槛。
  5. 宣布获胜者并给出理由,包含 token 效率说明。

输出格式必须遵循 references/scorecard-template.md 中的完整模板,不得摘要或缩写任何分区。评分只能使用整数(1 至 5),不得使用 4.5 之类的半分。每个复选框都必须填写。

评分含义:5 分为优秀,超出预期;4 分为良好,完全满足要求;3 分为合格,核心可用但有缺口;2 分为较差,存在显著问题;1 分为关键缺陷,失去资格。

适用场景

  • 对同一需求下的多个并行实现进行横向对比并选出胜者。
  • 对不同设计方案进行质量与适配度校验。
  • 结合速度运行指标评估实现与流水线使用效率。

限制

关于该技能的收费、价格、平台支持等信息暂未提供。