SuperAPI AI 工具集

00-arena-router

智能体与模型

查看项目

更新于 10-25 08:46

技能介绍

00-arena-router 是 arena-eval 套件的入口路由技能,定位为“分诊台”,本身不运行任何模型比较或基准测试,而是根据用户意图将其导向合适的子技能。每个子技能自包含,可独立安装和使用。

用途:当用户希望以竞技场(arena-style)方式比较或基准测试多个 LLM/智能体,但尚不清楚应使用哪个具体工作流时,该技能负责诊断比较目标并给出推荐路由。

主要能力:

  1. 诊断用户想比较模型在什么方面的表现,通过提问确认(除非用户请求已明确答案)。诊断问题为:“你在什么方面比较这些模型?a) 你自定义的任务(聊天机器人质量、摘要、编程等),将获得裁判模型的胜率排名;b) 具体是每个模型在被要求推荐引用时编造或幻觉参考文献的频率。”
  2. 快捷规则:若用户已明确说“对我的聊天机器人任务运行 arena 评估”或“基准测试这些模型的引用幻觉”,则跳过提问;若用户明确要求同时评估通用质量和引用准确性,则推荐两个工作流。
  3. 分诊表路由:
    • 用户说“在[任意自定义任务]上比较/基准测试/排名这些模型”→ 使用 01-auto-arena:根据任务描述生成查询、收集响应、自动生成评分标准、运行成对裁判比较、产出胜率排名。
    • 用户说“哪个模型引用幻觉最少?”或“基准测试参考文献推荐准确性”→ 使用 02-ref-hallucination-arena:对每个模型运行参考文献推荐查询,用 CrossRef/PubMed/arXiv/DBLP 验证每个返回的引用,按验证准确率排名。
    • 用户说“比较通用有用性 AND 引用准确性”→ 先 01-auto-arena,再 02-ref-hallucination-arena,分别运行、分别报告,保留两个目标。
    • 用户说“我想审阅一篇论文的现有参考文献,而不是比较模型”→ 不属于本套件,应使用 academic-eval 套件的 01-paper-review / 02-bib-verify。

使用方式:技能以诊断问题或用户表述为依据进行路由,输出格式为“Recommended workflow: [skill-name]”加一句理由。若一个工作流即可覆盖请求,则只推荐一个;若用户同时要求通用质量和引用准确性,则推荐 01-auto-arena 后接 02-ref-hallucination-arena 作为两次独立运行(或按用户指定顺序),并说明两次运行测量不同内容、结果应分开报告,任一排名不能替代另一排名。

关键区别:两个工作流都产出模型排名,但“正确”的定义不同。01-auto-arena 的正确性是裁判意见——LLM 裁判对任意任务成对评分哪个响应更好,适用于任何任务,无需真实标签。02-ref-hallucination-arena 的正确性是外部可验证的——每个引用都对照真实文献数据库检查,排名反映事实准确性而非裁判偏好,范围更窄(仅引用推荐)但真实标签置信度更高。若用户只关心引用准确性,即使表述为“哪个模型更好”,也应优先推荐 02-ref-hallucination-arena 而非 01-auto-arena。

适用场景:需要为多个 LLM/智能体选择评估路径的初始分诊;明确要比较自定义任务质量或引用幻觉的场合;需要区分主观裁判偏好与客观引用验证两种评估目标的场合。

限制:该技能不执行比较本身;不适用于审阅单篇论文现有参考文献的场景;具体子技能的安装命令、运行细节与依赖未在资料中提供。