Arena 是一个技能,用于组织 Pstack 设计或工件 bakeoff(方案比选),支持盲评、基础选择以及嫁接(graft)有用的替代方案。它通过一个包含六个阶段的待办列表来管理整个流程:Frame、Fan out、Cross-judge、Pick、Graft、Verify。每个阶段都有明确的完成条件。
用途
Arena 的主要用途是当有多个候选方案需要比较和合成时,提供一个结构化的流程。它适用于设计工件(artifact)的比选,例如在 Pstack 项目中比较不同的设计方案,或者对任何需要生成、评估和合成多个候选输出的任务。
主要能力
- 阶段化流程:将比选过程分为六个阶段,每个阶段有明确的目标和完成条件。
- 统一提示:所有候选者收到相同的提示,确保公平比较。
- 评分标准(rubric):定义 3-6 个具体的可评分标准,用于评估候选工件。
- 并行生成:通过 /swarm 同时启动多个子代理(subagent)生成候选工件,每个候选者有独立的输出位置。
- 交叉评审:由一个只读的评审子代理(来自不同供应商)对候选进行评分和推荐基础。
- 基础选择:根据评分标准逐项评分,选择最易于未来维护者扩展的基础。
- 嫁接:从落选候选者中提取值得移植的部分,手动融合到基础中。
- 验证:对合成后的工件进行验证,确保其符合要求。
使用方式
使用 Arena 时,首先打开一个待办列表,每个阶段一个条目。然后按照阶段执行:
- Frame:明确每个候选者要产生的工件,定义评分标准(3-6 个具体标准),通过 /swarm 选择运行者(runners),并为每个候选者分配独立的输出位置。
- Fan out:同时启动所有子代理,每个子代理收到任务、共享基础路径、自己的输出路径,并生成工件和简短理由(说明考虑过的替代方案及拒绝原因)。
- Cross-judge:在所有候选者完成后,通过 /swarm 的跨供应商评审路由启动一个只读评审子代理,对每个标准评分并推荐基础。
- Pick:阅读所有候选者,逐项评分,与评审结果比较,选择最易于扩展的基础。
- Graft:检查每个落选候选者,提取值得移植的内容(通常每个候选者一两个),手动融合到基础中,保持结果连贯。
- Verify:验证合成后的工件,如果发现问题,根据情况重新执行 Frame 或 Graft。
最终输出一个合成工件,并附上简短的合成说明,包括基础选择理由、评审结论(或跳过评审的原因)、每个嫁接的来源、被拒绝的内容及原因、收敛或 dropout 情况以及验证结果。
适用场景
- 需要比较多个设计方向或工件方案时。
- 希望以结构化方式选出最佳基础并融合其他方案优点时。
- 需要盲评以减少偏见时。
限制
- 该技能依赖于 /swarm 和相关路由(如跨供应商评审路由),如果这些不可用,部分阶段可能跳过(如评审阶段)。
- 如果候选者没有输出,则按 dropout 处理,用剩余候选者继续。
- 如果候选者结果差异过大,可能表明 Frame 阶段定义不充分,需要重新定义并重跑。
- 嫁接需要手动进行,避免机械粘贴,以保持结果的一致性。