用途:为冷邮件营销设计可复现的单变量实验,隔离变量以判断究竟是名单、文案还是其他因素带来效果变化。
主要能力:定义三类实验——仅名单(list-only)、仅文案(copy-only)、组合(combined,谨慎使用);给出各类型在目标定位与文案上的置信度高低;提供最小样本量参考(如基线1%正向回复率、期望翻倍约需每臂500封;1.5倍约2000封;1.2倍约10000封;基线2%翻倍约250封);要求先写成功标准再启动;建议两臂同日同基础设施同时启动;第21天测量;按置信度(高/中/低)加权学习结论;并给出结果决策规则(提升≥20%且高置信度则采纳为新基线,10-20%需复现,<10%视为不确定)。
使用方式:先写一句话假设,明确唯一变量与所有常量;做基线健康检查(200封以上整体回复率≥1%,否则先做投递率审计);计算每臂最小发送量;预先定义成功/失败/不确定标准;用两个独立活动同时启动对照与变体;第21天用正向回复评分统计;最后输出实验计划 YAML 到 ~/cold-email-ai-skills/profiles/<business-slug>/experiments/YYYY-MM-DD-<name>.yaml。
适用场景:已有稳定基线、希望系统优化冷邮件名单、文案、主题行、开场白、CTA、序列节奏或长度的运营者。
限制:起步阶段无基线时不应做实验;每臂少于500封难以区分信号与噪声;不要在单个活动内做A/B变体来验证假设;测试中途不得更换基础设施;若变体退信率翻倍应判定名单问题而非文案;组合实验获胜不能直接采纳为新基线,需拆分为单变量后续实验。部分引用文件与相关技能的具体内容暂未提供。