SuperAPI AI 工具集

eval-generator

编程与开发

查看项目

更新于 10-16 06:47

技能介绍

用途:该技能产出 /eval-guide 生命周期的 Generate 工件,即 Copilot Studio 评估标签页可导入的测试用例,以及携带完整清单的 .docx 测试用例报告,供人工评审和后续 Run/Interpret 阶段使用。它对应 10 步 playbook 的第 2 步(构建能力评估集)和第 3 步(构建信任与安全评估集),并设计第 8 步回归套件分区。

主要能力:优先读取已填写的 /eval-suite-planner 工作簿(eval-suite-<agent-name>-<date>.xlsx),以 Eval Suite Registry 为评估集事实来源,以 Planning 获取风险等级、负责人、门禁、生命周期阶段和来源依赖;每个能力行生成一组用例,每个信任与安全行生成一组用例。若无工作簿,可回退到叙述式计划;若两者都无,则接受纯文本智能体描述从零生成(至少 6–8 个用例,含至少一个对抗/信任与安全场景)。

数据模型:能力集(set_type=capability)按维度隔离,包括 accuracy_correctness、faithfulness_groundedness(含幻觉防护)、relevancy、style_tone、reasoning_tool_use;信任与安全集(set_type=trust_safety)单独成组,每集标记一个类别:guardrails、out_of_scope、sensitive_data、prompt_injection、compliance。幻觉属于忠实性/有据性能力失败,不归入信任与安全。

使用方式:默认单轮响应模式(约 80% 智能体适用,每集最多 100 用例,支持全部 7 种方法);仅当智能体执行多步工作流、需要上下文保持或先澄清再回答时切换为多轮对话模式(每集最多 20 用例,每例最多 12 条消息即 6 组问答,仅支持 General quality、Keyword match、Capability use、Custom)。对话测试集无法通过 CSV 导入,需在 Copilot Studio 中通过 Quick conversation set、Full conversation set、Test chat → test set 或手动录入创建,本技能输出作为规划蓝图。

输出:每个评估集一个导入 CSV,命名为 eval-<set-type>-<set-slug>-<YYYY-MM-DD>-for-import.csv,导入 CSV 仅含 "Question","Expected response" 两列;另生成 .docx 清单报告。AI 生成的事实内容用 [VERIFY: ...] 标记,导出时按正则 [VERIFY:\s*([^]]*)] → $1 剥离。

限制:对话模式不支持 Compare meaning、Text similarity、Exact match;信任与安全集通常为硬门禁;事实、合规解释、敏感数据处理或政策拒绝行为需人工评审。具体收费、价格、平台支持范围等资料暂未提供。