用途:当需要评测多步 AI 智能体(任务成功、工具选择、预算、人工介入、恢复与副作用证据)时使用本技能,依据已批准的项目证据产出或更新 AI 评测规范,并为 AI 工程与发布团队准备可评审的交接物。所属为 chwezi SDLC 文档体系,是 ai-eval-harness-spec 的智能体专用补充。
主要能力:按特性维护 golden 任务集(AGENT 任务含 id、feature、initial_state、user_goal、gold_trajectory、goal_state、验收评分表、tags);定义确定性回放环境(Storage: replay-env/<feature>/<task_id>.yaml,零方差,可按参数注入错误、超时或恶意输出);声明六项核心指标与默认阈值(任务成功率 >= 0.90、步骤效率 <= 1.5、工具选择质量 >= 0.92、捏造参数率 <= 0.01、不可逆动作事故率 0、介入率按特性在 PRD 声明);定义 judge-LLM 评分细则与月度校准(漂移 > 5 pp 即重校准);定义 CI 门禁与按夜/周/月/季度的计划回归;规定运行责任归属与规范章节结构(AI_Agent_Eval_Spec.md 分八节)。
使用方式与输入:需项目 _context/、已批准需求与相关架构(必需),更新或评估时需现有制品、实现、配置与证据,还需目标受众、环境、风险容忍度与权限。缺失时停在 gap register,不虚构范围、阈值、集成或负责人。评测输出需每项被评行为都有代表性数据集、确定性评分规则、阈值依据与保留的运行证据。
限制:仅限已授权来源的读取与搜索,默认只读,非破坏性验证可选;生产变更、发布、破坏性操作、支出、对外沟通或合规声明需单独明确授权;秘密、租户数据、事件证据与财务记录按最小权限处理;不可用的检查不得记为通过,须标记为未评估并保留验收预言与指定验证人;不要复制通用模板、不要凭惯例选阈值、不要宣称合规或就绪。