用途:为 AI 智能体设计、运行、审查或发布评估与可观测性方案。评估回答行为是否在声明数据集或生产样本上满足既定标准;可观测性提供追踪、日志、指标、关联与诊断上下文,两者互补,不能互相替代。
主要能力:定义决策、风险、任务契约、轨迹契约与不可接受结果;按危害、可逆性和部署阶段选择证据;创建不可变数据集版本与清单,声明来源、权利/同意、切片、夹具、预期副作用、污染风险、限制、保留与变更日志;选择互补评分器(确定性检查、执行/环境检查、人工、模型评判、成对/排序、领域与安全审查);在可比条件下运行候选与基线,保留配置、随机重复、失败/超时与轨迹证据;报告多维画像与不确定性,使用成对比较并检查切片、缺失、基准率、混杂、效应量与多重比较;采用风险分级发布门禁,硬性安全、隐私、授权与副作用不变量不可被平均掉;生产环境使用最小化、脱敏遥测,经同意、转换与污染审查后将事件与未遂事件转为案例。
使用方式:按需加载参考文档,如评估设计、数据集、评分器、评判稳定性、接地探针、决策审计记录、接地归因、指标与统计、轨迹审查、回归与发布、生产可观测性、OpenTelemetry GenAI、框架路由、合成场景等;使用 templates 下的评估计划、数据集清单、评分器规范、轨迹审查、运行报告、发布门禁、指标镜像等模板作为决策记录。
适用场景:定义智能体评估、比较运行、审查工具/状态/恢复/副作用、分诊回归或判断发布就绪、设计追踪与隐私控制、与 OpenTelemetry 互操作。
限制:不得用标量分数、关键词命中、模式校验或重复输出作为超出其直接观察属性的证明;默认不采集提示、输出、工具参数、中间推理、凭据或个人数据;人工判断非绝对真理,需明确评分标准、校准、分歧分析与条件变化时重新验证;流行率导向的生产样本与风险富集挑战案例须分开,不得静默重加权。调查单个活跃缺陷用 systematic-debugging,一般证据支撑的完成声明用 verification-methodology,预防性控制设计用 secure-software-engineering,SDK 特定代码用框架技能;Supabase 任务基准使用官方 harness 参考。所需证据不可用或冲突时应升级而非推断通过。