用途:对同一 AgentHub 会话中多个智能体的结果进行评估和排名,帮助用户比较并选出优胜者。当用户运行 /hub:eval,或要求评分、比较、选出胜出者时使用。
主要能力:提供三种评估方式。指标模式在配置了评估命令时,于每个智能体的 worktree 中运行命令并按指标排序;LLM 裁判模式在没有评估命令或使用 --judge 时,读取各智能体 diff 与结果文件,按正确性、简洁性(同等正确性下改动行数更少更好)、质量(结构清晰、无回归)进行排名并给出理由;混合模式先跑指标评估,若头部智能体差距在 10% 以内,再用 LLM 裁判打破平局,最终同时呈现量化与定性排名。
使用方式:/hub:eval 评估最新会话;/hub:eval 20260317-143022 评估指定会话;/hub:eval --judge 强制 LLM 裁判模式。指标模式调用 python {skill_path}/scripts/result_ranker.py 并传入 --session、--eval-cmd、--metric、--direction。评估结束后用 python {skill_path}/scripts/session_manager.py --update {session-id} --state evaluating 更新会话状态。
适用场景:多智能体并行产出后需要客观或主观打分、比较方案、挑选合并对象。
限制:具体评估命令、指标与方向由用户配置,资料未提供默认值;LLM 裁判依赖对各智能体 diff 与结果文件的读取,需存在相应分支与结果文件。下一步可用 /hub:merge 合并优胜者,或 /hub:merge {session-id} --agent {winner} 显式指定。