用途:帮助用户为 Microsoft 365 Copilot 声明式智能体创建、运行和分析评测套件,基于公开预览版 CLI @microsoft/m365-copilot-eval。
主要能力:设计符合 schema 的评测数据集、运行公开预览 CLI、分析结果、推荐针对性修复;默认优先识别 Microsoft 365 Agents Toolkit(ATK)项目,但不会仅因当前目录不是 ATK 而中止;也可通过显式 M365_AGENT_ID 或 --m365-agent-id 评估已部署智能体。
使用方式:始终使用命令 npx -y --package @microsoft/m365-copilot-eval@latest runevals,不支持旧的 aka.ms 私有安装器、全局安装、裸 runevals、裸 npx runevals、--input 或 --html。常用命令包括 --version、--help、accept-eula、--init-only、--prompts-file、--output(支持 json/html/csv)、--prompts、--m365-agent-id、--env;--concurrency 只能取 1-5,调试从 1 开始。数据集须为 schemaVersion 1.2.0,根为 items 数组,不使用旧的 PromptsObject 或根 prompts 格式。公开评测器有 Relevance、Coherence、Groundedness、Similarity(均为 1-5 分,默认阈值 3)、Citations(默认阈值 1)、ExactMatch、PartialMatch(0.0-1.0,默认阈值 0.5),名称区分大小写;ToolCallAccuracy 视为遗留/私有,不应写入数据集。
适用场景:无数据集时创建 evals\evals.json;已有数据集时运行、分析或修改;快速检查用内联提示;探索用交互模式。用 PRA(Perceive/Reason/Act)框架设计场景。
限制:需 Node.js 24.12.0 或更新版本、Microsoft 365 Copilot 许可证和已部署智能体、租户管理员对 WorkIQ Client App 的同意、TENANT_ID、Azure OpenAI in Foundry Models 端点/密钥及推荐的 gpt-4o-mini 部署。缺少评分键通常意味着未配置该评测器而非失败。未经用户明确确认,不得打印或提交密钥、含敏感数据的提示、检索内容、调试日志或原始结果文件;覆盖已有数据集前需询问;未获用户提供或批准租户、智能体与 Azure OpenAI 配置前,不得运行依赖真实租户的评测。若裸 runevals 报版本停止工作,应按陈旧 PATH/全局安装处理,改用上述 npx 命令,删除全局 shim 前需先询问。