SuperAPI AI 工具集

copilot-studio-agent-test

智能体与模型

查看项目

更新于 10-16 00:31

技能介绍

用途:以编程方式测试已发布的 Microsoft Copilot Studio 智能体,不驱动浏览器。通过 Microsoft 365 Agents SDK(CopilotStudio.Copilots.Invoke)发送问题、捕获答案与引用,并写入 CSV 和 JSON。每个问题都在全新会话中运行,相当于点击“新建聊天”,因此答案不会受上一轮上下文影响。需要 Node.js 22 或更高版本;用 node --version 检查,低于 v22 需从 https://nodejs.org 安装。

主要能力:发送问题、捕获答案与引用、检测升级(escalation)、标记空回复、检查可选必含子串、把 Word 问答文档转换为测试集,以及根据给定判定组装通过/失败报告。工具本身不判断答案语义是否正确,评分由使用者对照期望答案完成。

使用方式:在该技能目录下调用,推荐 node 形式:node scripts/cs-agent-test.cjs <command>。其他命令包括 setup、config、doctor、login/whoami/logout、new、convert、ask、test、report。首次运行 setup 收集应用(客户端)ID、租户 ID、环境 ID、智能体架构名称,写入 ~/.cs-agent-test/config.json。随后执行 login(设备代码)和 doctor(端到端健康检查)。测试流程:convert 准备测试集(或自备 CSV)、test 运行问题、人工评分、report 生成 Markdown 报告。常用参数包括 --limit、--ids、--delay、--timeout、--config、--full。测试集 CSV 列:id、question、expected、expectContains。

限制:仅测试已发布的智能体,不测试草稿;仅支持委托身份验证,无法完全无人值守 CI。运行速度约每问题 30–60 秒。需人工参与 setup 和 login。部分细节(如具体收费、平台支持范围外信息)暂未提供。