SuperAPI AI 工具集

agent-evaluation-designer

智能体与模型

查看项目

更新于 10-16 06:47

技能介绍

用途:帮助用户对 AI 智能体做严谨、可辩护的评估,把结果转化为明确的 go / no-go 决策。评估被视为产品纪律,要求在测试前先定义“好”的含义,选择恰当的度量方式,并对结果负责。

工作流程分五个阶段,需按顺序执行,不可跳过第一阶段:

  1. 定义“好”的含义:明确评估要支持的决策(是否发布、对比版本、捕获回归、满足合规门槛)、目标用户与关键任务,并为每个任务选择质量维度——正确性/有据可依、完整性、相关性、语气/格式/合规、工具或动作使用,并为每个维度写一行通过标准。产出为按优先级排列的场景清单。
  2. 按场景选择评分方法:选择能真正度量目标维度且成本最低的方法。无参考的整体质量用通用质量(LLM 评判);需比较语义用语义比较;需检查特定事实用关键词匹配;检查工具调用用工具使用;需接近规范答案用文本相似度;短确定性输出用精确匹配;自定义通过/失败规则用自定义标准。长自由文本不应使用精确匹配或文本相似度;可在同一测试集组合多种方法。
  3. 构建测试集:初期用 5–30 个高影响用例快速迭代,稳定后扩展到 50–200+ 用于回归;覆盖正常路径、边界、改写和已知失败模式;参考应为最简短且含必要含义的关键词或评分细则,避免逐字匹配;不得写入密钥、个人数据或环境相关路径;注明用例所需的用户画像与鉴权上下文。
  4. 运行与解读:运行测试集,注意平台并发与每日限流;从总分和单条失败两个层面解读,按根因聚类(知识缺失、工具调用错误、依据不足、语气格式、期望答案过严),按用户影响 × 频率排优先级。
  5. 决策:产出简短可辩护的就绪总结,包含结论(Go / 有条件 Go / No-go)、各优先场景对照通过标准的通过率证据、仍开放的主要风险及清除方式、按序推荐的后续行动。评估只衡量正确性与质量,不替代负责任 AI、安全或内容政策审查。

Copilot Studio 相关:该技能面向 Microsoft Copilot Studio,其内置评估原生提供分级方法、测试集和配额;具体方法名、字段上限与配额需参考 references/copilot-studio-evaluation.md(例如约 1000 字符的预期响应上限和每智能体每日评估限流)。五阶段方法论适用于任何智能体,但具体方法名与限额属 Copilot Studio 特有。

限制:资料未提供安装命令、价格与平台支持范围等细节。