用途:判断 AI 是否真正帮助用户达成目标,而非仅看回答质量。资料指出高质量输出可能与任务成功背离,因此需要端到端衡量结果。
主要能力:为每个用户任务定义成功标准,包括成功的样子(如发出邮件、找到信息、完成设计)、可观察的完成条件、时间预期(有无 AI 辅助的耗时)和质量门槛。提供任务成功指标:任务完成率(真正完成任务而非仅获得回复的用户比例)、完成时间、完成所需轮次、首次尝试成功率、干预率(用户纠正/重定向/覆盖 AI 的频率)、放弃率。
测量方式:直接测量(产品分析追踪用户点击“完成”、保存输出或进入下一步)、推断测量(用会话时长、回访率、输出修改等代理信号)、自报测量(询问用户 AI 是否帮助达成目标)、对比测量(有 AI 与无 AI、版本 A 与版本 B 对比)。
适用场景:设计 AI 产品时定义任务成功、搭建指标框架、建立基线并规划任务成功仪表盘。
限制:资料未提供具体工具、代码、平台、收费或价格信息。仅凭输出质量无法判断任务成功,需同时追踪输出质量与任务成功指标,并在两者背离时调查。设计交付物包括每项关键用户任务的成功定义、含测量方法的指标框架、成功标准规范、基线测量和任务成功仪表盘规范。