SuperAPI AI 工具集

ai-ship-bar

编程与开发

查看项目

更新于 10-24 18:17

技能介绍

用途:AI功能的上线质量把关。该技能提供一套产品管理框架,通过访谈和结构化文档,为AI功能定义可测量的发布质量标准(Ship Bar),明确“成功”的定义、关键指标阈值、评测集设计、负责人、回归门禁及上线后监控。

主要能力:

  • 访谈引导:围绕功能风险、正确性判断、错误成本、假阳性/假阴性偏好、延迟要求、成本约束、测试数据可用性及决策权限等问题进行前置访谈。
  • 单请求成功定义:明确成功、部分成功、失败的标准;若需主观判断,提供评分规则(3-5条通过/不通过标准)并确定评分方式(人工、经人工校验的LLM评分或两者结合)。
  • 指标选择:按功能类型选择适用指标,包括任务完成率、精确率与召回率、有害输出率、拒绝准确率、p95(及p50)延迟、每次成功请求成本、人工编辑/覆盖率。
  • 评测集设计:确定规模(确保单例翻转不影响决策)、来源(优先真实输入,补充编写用例)、黄金标准用例(双人标注一致)、对抗性用例(畸形输入、提示注入、越界请求等)、必过集(安全、隐私、法律、资金问题,单例失败即阻断发布)、留出集(不参与调优)及刷新机制(生产故障转为新用例)。
  • 阈值与负责人:为每个指标设定阈值、评测切片、负责人及是否阻断发布;必过集不可豁免。
  • 回归门禁:定义哪些变更(模型版本、提示词、检索、工具、设置)需重跑评测,以及指标下降多少即阻断变更。
  • 上线后监控:选择实时信号、告警阈值、人工审查抽样计划及回滚触发条件。
  • 输出文档:提供Ship Bar模板,涵盖功能与风险、成功定义、指标与阈值表(示例阈值需替换)、评测集表、签署表、回归门禁、上线后监控及结果记录。

使用方式:按照技能指令步骤操作——先访谈,再定义单请求成功,选择指标,设计评测集,设定阈值与负责人,设置回归门禁,规划上线后监控。最终产出一份Ship Bar文档。

适用场景:AI功能临近发布且决策基于演示;更改已上线功能的模型、提示词或检索;领导询问如何判断质量足够;工程与产品对质量存在分歧;需要回归门禁防止后续变更降低质量。

限制:文档中所有阈值均为示例,需团队自行设定;未提供具体定价、平台或效果保证;评测集规模、来源等需依据实际数据与政策确定。