用途:该技能接收一段对智能体的自然语言描述,输出结构化的评估套件计划,用于在生成测试用例或运行评估之前明确要构建哪些场景、使用哪些评估方法以及何时算完成。它对应 MS Learn 四阶段评估框架的第 1 阶段(Define),后续可用 /eval-generator 进入第 2 阶段。
主要能力:依据微软 Eval Scenario Library 与 MS Learn 智能体评估文档,将智能体匹配到业务问题场景类型(如信息检索、请求提交、故障排查、流程导航、分流路由)和能力场景类型(如知识接地、工具调用、安全、合规、语气质量、优雅失败、触发路由、红队测试),并给出场景计划表、质量信号、通过/阻断阈值,以及测试集创建策略与测试数据生成方式建议。
使用方式:以 /eval-suite-planner <agent description> 调用,读取描述后推断主要任务、关键能力与失败模式,按固定顺序输出:一句话摘要、场景计划表(含场景名、类别、标签、评估方法)、质量信号、通过/失败阈值等。不追问澄清问题。
适用场景:为知识问答、任务执行、多步流程、分流路由等智能体规划评估;生产环境智能体可结合 Copilot Studio 的 Themes 测试集与生产数据导入;需要合规、语气或品牌一致性判断时可使用 Custom 方法或评分量表。
限制:Custom 方法不支持 CSV 导入,需在 Copilot Studio 评估界面创建;Themes 功能需环境支持预览特性;评分量表校准通常需 3–5 轮,每轮 10–15 用例约 1–2 小时;阈值可按风险调整。部分细节(如具体价格、平台支持范围)暂未提供。