用途:以 /eval-faq <question> 形式调用,回答 AI 智能体评估方法论问题,包括评分器类型、数据集设计、标准撰写、非确定性、工具调用评估、多轮智能体评估、评估工具、能力评估与回归评估、结果解读。方法论主线为 skills/eval-guide/playbook.md 的十步评估手册,微软智能体评估文档(MS Learn、Eval Scenario Library、Triage & Improvement Playbook、Eval Guidance Kit)为权威支撑来源,部分行业来源补充微软未深入覆盖的主题。
主要能力:按问题主题路由到对应权威 URL,先抓取再回答,只抓取匹配主题的链接;抓取失败时回退到知识库并注明来源不可用。回答控制在 3-5 句,给出有明确倾向的建议与具体数字,最多提一个澄清问题,并在结尾注明所用来源。知识库涵盖十步手册、风险等级与门禁、场景类型(5 类业务问题场景与 9 类能力场景)、质量维度、7 种测试方法、评分标准细化、失败分诊与修复映射、非确定性处理等。
使用方式:以 /eval-faq 加问题调用;系统按主题到 URL 的路由表抓取内容,微软来源优先,外部来源仅作补充,引用格式区分微软与外部来源。
适用场景:智能体评估方案设计、评估集构建、评分标准校准、失败诊断与修复、上线就绪判断等。
限制:资料未提供独立安装命令、收费与价格信息;部分主题依赖外部来源,抓取失败时答案质量会下降;具体平台机制以微软文档为准。