SuperAPI AI 工具集

ab-test-plan

测试与质量

查看项目

更新于 10-15 22:37

技能介绍

用途:这是一套结构化 A/B 测试规划流程,面向需要统计严谨性的实验设计。它把假设、样本量、变体、监控与停止规则整理成一份完整实验规格。

主要能力:提供假设框架(If/Then/Because 格式);用样本量计算脚本得出每个变体所需样本量与总样本量;根据日流量估算测试天数;定义主指标、次级指标与护栏指标;制定监控计划、SRM 检测与统计方案;给出提前终止与 go/no-go 决策标准,以及获胜、失败、不确定三种情况的后续行动;并做流量可行性评估,流量不足时建议减少变体、提高 MDE 或改用定性方法。

使用方式:需提供被测页面或组件、当前转化率、最小可检测效应(MDE,区分绝对值与相对值)、日流量、显著性水平(默认 95%)、统计功效(默认 80%)、变体数量与业务背景。脚本需 Python 3.10+,命令保持原文:python "${CLAUDE_PLUGIN_ROOT}/scripts/sample-size-calculator.py" --baseline-rate 0.05 --mde 0.01 --mde-type absolute --significance 0.95 --power 0.80;测试结束后可用 significance-tester.py 评估结果。

限制:被依赖的脚本路径与 Python 版本要求来自资料;MDE 绝对与相对口径差异极大,需先确认用户意图。品牌上下文、历史活动检查等步骤需相应配置文件或脚本,资料未提供这些文件的具体内容与可用性说明。