用途:对工作流做质量评审、交互审计,或用贴近真实使用的场景测试工作流。
必要准备:先调用 /agent-workflow,其中包含工作流原则、反模式与上下文收集协议;若尚无工作流上下文,必须先运行 /teach-maestro。另需参考 agent-workflow 技能中的反馈循环资料,用于评估模式、黄金测试集与回归检测。
评估维度:1) 任务完成,是否真正达成目标、覆盖完整任务还是仅顺利路径、边界情况是否被处理;2) 输出质量,是否准确完整、符合输出模式、能否通过领域专家审核;3) 错误行为,输入畸形、工具失败、模型不确定时的表现,错误信息是否有用;4) 用户体验,交互是否自然、破坏性操作是否确认、响应时间是否可接受、是否说明限制;5) 一致性,相同输入是否稳定、是否存在不可复现的随机失败、长对话中质量是否下降。
场景测试:创建并运行测试场景,包含顺利路径、边界情况、错误情况、压力情况、对抗性输入,按输入、预期、实际、等级(A-F)记录。
评估报告:输出整体质量等级、各维度分数与证据、具体场景结果、按优先级排列的改进建议及推荐的 Maestro 命令。
检查清单:五个维度均需用具体场景测试;至少测试一个边界情况和一个对抗性情况;结果记录在场景表;给出整体等级及理由;改进动作引用具体 Maestro 命令。
后续:评估后运行 /fortify 处理错误行为缺口,/refine 改进输出质量,或 /iterate 建立持续质量监控。
禁止:仅做理论评估而不运行实际场景;除非工作流在所有场景类型表现良好,否则不给 A;面向用户的工作流跳过对抗性测试;只评估顺利路径。