SuperAPI AI 工具集

meta-eval

测试与质量

查看项目

更新于 10-25 08:46

技能介绍

Meta Eval 是评估技能集合的入口路由,本身不执行评估,而是诊断用户现状并路由到合适的子技能。每个子技能自包含,可独立安装使用。

用途:帮助不知道从何开始构建 LLM/智能体评估系统的用户,根据其拥有的数据、人工标签、风险级别和领域知识,推荐一个工作流作为下一步。

主要能力:

  • 提出四个诊断问题:数据(智能体轨迹/生产日志、产品规格/设计文档、无)、人工标签(≥50、少于50、无)、风险(低、生产、受监管)、领域知识(很清楚、有些、不清楚)。
  • 使用分诊表将用户场景映射到子技能:有轨迹/生产日志→01-eval-design;有原则但需测试数据→01-eval-design;有原则但不知选哪个评分器→02-metric-design;改了提示词是否更好→06-prompt-regression(需已有基线和候选输出对);有RAG系统→05-rag-eval;有评委和标签想检查准确率→03-align-human;安全/安全测试→07-redteam;运行多个技能后要综合报告→04-eval-report;从零开始→08-bootstrap。
  • 给出诊断摘要、推荐工作流、理由、该工作流输出,以及如何细化路径。
  • 遵循标准生命周期:00-meta-eval→入口(01-eval-design或08-bootstrap)→02-metric-design→运行评估→03-align-human(需≥50人工标签)→场景模块→04-eval-report。
  • 强制前提规则:06-prompt-regression需已有配对输出;生产/受监管场景必须有≥50人工标签并运行03-align-human校准,否则不能称为生产就绪。
  • 识别并避免常见错误(如对有数据的用户推荐bootstrap、跳过风险问题、过早推荐指标设计等)。

使用方式:用户描述场景后,技能会一次性提出四个问题(或根据已有信息直接给出临时推荐并同时追问剩余问题),然后输出诊断和推荐。用户按推荐进入对应子技能工作流。子技能是本地工作流(位于skills/eval_pipeline/下),不是安装包,使用即打开并遵循该子技能。

适用场景:需要为LLM/智能体应用构建评估体系、但不确定从哪一步开始的团队或个人;已有部分数据或标签、需要确定下一步评估动作的场景。

限制:不直接运行评估(由子技能执行);不覆盖持续生产监控(属MLOps领域)、带版本公开发布的基准排行榜、嵌入智能体框架的实时信号栈;若用户场景不在分诊表中,会说明未覆盖并建议提issue。