用途:当 Copilot Studio 智能体评测跑完、需要解读分数、诊断表现不佳测试用例的根因并找到可执行改进步骤时使用。它基于 skills/eval-guide/playbook.md(Practical Guidance on Agent Evaluation: 10-step playbook),是第 7 步“迭代诊断失败”的深入指南,并为第 9 步优化循环提供种子。
与 eval-result-interpreter 的区别:两者共用同一分诊框架。需要交互式逐步诊断、处于持续改进循环、需要针对特定失败模式的详细修复帮助、失败较多(15+)需排优先级时,用本技能;只有 CSV 或具体结果、想要一次性结构化报告、首次看结果需快速结论、需要客户交付物(.docx 分诊报告)、失败较少(<20)时,用 eval-result-interpreter。不确定时先用后者拿报告,再切到本技能实施修复。
主要能力与流程:1) 收集评测结果,包括评测集与通过率、manifest 元数据(set_type、category、method、gate、target、regression_class、人工复核标记、来源)、具体失败用例、运行次数与已尝试的改动;2) 分数解读与就绪评估:硬门禁失败→BLOCK,能力集低于硬下限→ITERATE 或 BLOCK,仅软目标未达→SHIP WITH KNOWN GAPS/ITERATE,全部通过→SHIP;阈值不套固定数字,优先用 manifest 目标,缺失时按风险等级推导并标记需更新;3) 分诊前基础设施检查(知识源索引、API/连接器、鉴权、发布版本);4) 失败优先级排序(硬门禁→高风险能力→最低分评测集→反复出现→软目标);5) 根因分类:每个失败必须归入唯一根桶——eval-setup problem(评测设置问题,修评测)或 agent-quality problem(智能体质量问题,修智能体/平台并记录模式),并给出操作子类型(Eval Setup / Agent Config / Knowledge / Platform Limitation);6) 多轮对话分诊:先定位最早出错的“关键轮次”,其后为级联失败,修复关键轮次后预计 40-60% 下游失败自行消失;7) 映射到修复方案;8) 生成结构化分诊报告,含分数汇总、就绪评估、失败分析、分诊理由、失败模式日志、系统性模式、行动项、分诊后清单与人工复核。
限制:资料未提供安装命令、价格、平台支持范围等具体信息;分诊基于单次评测运行,无法发现未编写用例的场景,也无法区分偶发失败与真实失败,边界情况建议重跑后再投入修复。