用途:当用户要求创建实验、设计A/B测试或验证假设时,该技能按科学方法生成实验设计文档。工作流先读取.chalk/docs/product/下的产品资料、PRD和既有实验文档,检查指标框架与基线值;随后与用户一起把假设写成“若[改动],则[主要指标]将[方向][最小可检测效应],因为[理由]”的可证伪格式。
主要能力:选择主要指标(唯一决定成败)、次要指标(辅助理解)和护栏指标(不得劣化,如错误率、页面加载时间、客服工单量,一旦越界即停止实验);依据基线转化率、最小可检测效应、显著性水平(默认95%)和统计功效(默认80%)计算每变体所需样本量;按当前流量估算实验周期,过长时提示调整MDE;设计对照组与处理组,每个变体只变更一个变量;预注册分析计划(统计检验方法、单双侧、多重比较校正、何时查看结果);明确上线、迭代或终止的决策标准,包括结果不显著(效应小于MDE)的情形;读取目录中最高编号文件并加一,保存实验文档。
输出:.chalk/docs/product/<n>experiment<name>.md,Markdown格式,含假设、指标、样本量、周期估算、变体描述、预注册分析计划、决策标准、风险与缓解等分节。
限制与反模式:不得在看到数据后才选择统计检验,不得提前偷看结果并在p<0.05时停止,避免指标过多、多变量打包、缺少护栏指标、忽略实际显著性。未提供具体平台、收费或价格信息。