SuperAPI AI 工具集

ab-testing-engineer

测试与质量

查看项目

更新于 10-16 04:56

技能介绍

该技能用于指导 A/B 与多变量实验的工程实践,适合在实验启动前和使用过程中查阅。

用途:在实验上线前明确假设、成功标准与决策规则;定义主指标、次指标与护栏指标及归属;设计 A/B、A/B/n 或高层 MVT 实验并选择正确的随机化单位;计算样本量、功效、MDE 与最短运行时长(考虑季节性、周期);规划分配、分桶、曝光日志与 SRM 监测;对齐埋点与事件分类及分析表;编写预注册分析计划(频率派与贝叶斯流程层面);执行读数、解释不确定性并给出上线/迭代/终止/留出建议;维护实验登记与项目运作规范。

不适用:搭建或运维仓库管道、dbt 模型或 BI 栈;无实验设计的高管仪表盘与 KPI 叙事;通用 ML 建模、实验之外的因果推断与 MLOps;ML 系统的模型训练/评估 A/B;营销文案、活动或渠道策略;无测量设计的产品路线图与组合优先级;无新实验的周度指标复盘;跟踪的法律隐私、同意或合规签核;无统计设计的增长实验创意。

核心工作流:一、假设与指标契约:说明问题、用户分群与预期机制,锁定一个主指标,列出次指标与护栏指标,定义非目标与范围外分群,约定放量标准。二、设计与功效:选择 A/B、A/B/n、因子/MVT 或留出设计,依据业务影响设定 MDE,计算每个变体样本量(α、功效、单双侧),估算时长。三、随机化、埋点与 SRM:选择随机化单位并论证与分析匹配,定义分桶哈希与粘性分配,映射曝光事件与分配日志,上线前 QA,运行中监测 SRM 与不变量检查。四、分析与决策:遵循预注册分析计划,默认意向性治疗,运行主分析并给出置信区间,仅使用预定义分群切片,执行多重性策略,产出读数与建议。五、治理与项目运作:在目录中登记实验,禁止 p-hacking 与未校正的可选窥视,归档配置、功效计算、分析笔记本与决策日志,规划放量、回滚与长期留出。

以上为资料提供的范围、工作流与限制说明;具体安装命令、收费、平台信息暂未提供。