用途:在评测基线已经存在之后,持续维护 AI 评测的可信度,防止模型、提示词或数据变化导致评测失效。资料强调它应在基线存在后使用,而非从零建立评测。
主要能力:一是回归检查,建立小型代表性套件加已知失败回归用例,固定用例、评分器版本、应用配置和独立确认规则;区分快速确定性检查与较慢的付费评测;对跳过或缺凭证的运行要显式暴露,不能当作通过。二是生产反馈,先定义采样策略和总体再测比率,纳入随机正常流量以及投诉和失败触发样本,用 trace/thread 身份关联用户反馈、人工标注和回归用例。三是刷新,在模型、提示词、工具、检索或受众变化后检查新失败类型,保留稳定回归套件并对刷新后的代表性套件做版本管理,用新的专家标注重新验证评分器。四是告警,基于可操作阈值,带负责人、最小样本量、错误上下文和去重,区分供应商故障与应用质量漂移。
使用方式:需先阅读运营协议、维护指南和托管工作流;对捆绑本地工具和确切命令,阅读工具包设置。为该技能运行工作区安装器,它会保留已有自定义文件。托管路线需在确认连接 schema 后使用具体服务操作。托管 PR 工作流需检查当前 Confident Actions 设置与生成的 callback/workflow,确认其调用实际应用并上报预期检查;本地工作流沿用项目自身 CI 与 runner,凭证放在其密钥存储中,不要把付费密钥暴露给不可信的拉取请求代码。托管用户复用托管评审与监控,本地用户复用收集器、定时导出或现有任务系统;除非被要求,不要创建常驻代理循环。
适用场景:已有评测基线、需要建立评测归属(CI、发布流程、生产可观测性、评审者、基线)、并让失败区分阻断发布、仅标记评审和基础设施错误处理的团队。
限制:交付时需提供已验证的 CI 命令/检查、采样与告警策略、负责人、带版本的证据位置和下次评审触发条件,并说明实际已启用与仅记录的差异。不得静默部署候选或启动周期性付费任务。基线之前如何使用、具体命令、价格与平台支持等信息,资料暂未提供。