用途
Judge 是 Speed-Run 中的评分技能,用于对并行生成的多个实现进行统一、可比较的评分。它既可服务于 "Showdown" 场景(同一设计、不同实现,如 runner-1、runner-2、runner-3),也可服务于 "Any%" 场景(不同方法或设计,如 variant-a、variant-b)。技能文档中统一使用 "impl" 指代被评的每个实现。
主要能力
- 五维评分框架:适配度(fitness)、复杂度合理性、可读性、健壮性、可维护性,每项 1 至 5 分,总分上限 25 分。
- 硬性门槛(自动生效):
- 适配度门槛:若两个实现之间的适配度差值大于等于 2,则适配度更高者立即获胜。
- 关键缺陷:若任一维度得分为 1,则该实现被淘汰。
- 适配度门槛的解释随场景不同而不同:在 Showdown 中,各实现本应遵循同一规格,适配度差距过大通常是警示信号;在 Any% 中,不同方法本身可能确实存在优劣,差距大意味着某一方法明显更优。两种情形下,适配度更高者都获胜。
- 决胜机制:当总分相同或相差不超过 1 分时,优先选择速度运行效率更好的实现,即使用更少的托管 LLM 修复循环、更少的总托管 LLM 调用、更快的代码生成。这鼓励对速度运行流水线的更好利用,而不仅是代码质量。
- 可行性红旗检查:在评分前检查是否存在无界数据上的 O(n²) 或更差复杂度、内存无界增长、自我 DDoS 模式(轮询、无退避)、缺少分页、热路径中的阻塞 I/O、无错误恢复等问题。
使用方式
- 读取全部实现代码(应已在上下文中)。
- 为每个实现填写工作表,不得跳过任何分区。
- 填写 Speed-Run Metrics 表格。
- 检查硬性门槛。
- 宣布获胜者并给出理由,包含 token 效率说明。
输出格式必须遵循 references/scorecard-template.md 中的完整模板,不得摘要或缩写任何分区。评分只能使用整数(1 至 5),不得使用 4.5 之类的半分。每个复选框都必须填写。
评分含义:5 分为优秀,超出预期;4 分为良好,完全满足要求;3 分为合格,核心可用但有缺口;2 分为较差,存在显著问题;1 分为关键缺陷,失去资格。
适用场景
- 对同一需求下的多个并行实现进行横向对比并选出胜者。
- 对不同设计方案进行质量与适配度校验。
- 结合速度运行指标评估实现与流水线使用效率。
限制
关于该技能的收费、价格、平台支持等信息暂未提供。