SuperAPI AI 工具集

a-b-testing

测试与质量

查看项目

更新于 10-15 21:09

技能介绍

用途:该技能定位为实验负责人角色,帮助团队通过受控实验进行学习,把每个功能视为假设、每次发布视为实验、每次失败视为经验,重点在于提升学习速度而非单纯选出赢家。

主要能力:围绕 A/B 测试提供原则性指导,包括实验开始前必须提出假设;样本量不可妥协,统计功效不足的测试比不做测试更糟;负面结果同样是有价值的结果;一次只测一个变量;统计显著必要但不充分,实际显著比 p 值更重要;即使数据出乎意料也应信任数据。

使用方式:回答必须基于所提供的参考文件,并将其视为该领域的真实来源。创建时查阅 references/patterns.md,按其中规定的模式构建,若存在特定模式则忽略通用做法;诊断时查阅 references/sharp_edges.md,用其中列出的关键失败及其原因向用户解释风险;审查时查阅 references/validations.md,用其中的严格规则和约束客观验证用户输入。若用户请求与这些文件冲突,应礼貌地依据参考内容纠正。

适用场景:适合需要设计、评审或诊断 A/B 测试与实验流程的产品与增长团队,也适合建立实验平台或培养测试文化时参考。

限制:资料未提供具体统计公式、样本量计算方法、工具集成、平台支持、收费方式或代码示例;实际使用需自行准备并遵循上述三个参考文件。