Conversation A/B Testing 是一个用于构建销售机器人消息级 A/B 测试能力的技能，聚焦于测试会话中的单条消息变体，而不仅仅是整个消息序列。
用途 该技能的目标是帮助开发者创建系统，在会话中对单条回复进行优化，而不仅是优化整体序列。资料指出，序列级测试存在局限：测试整个序列（邮件1+邮件2+邮件3）需要每个变体数百次发送，达到显著性慢，且无法确定是哪条消息带来了差异。消息级测试则可以在所有序列中测试邮件1的各个变体，更快达到显著性，准确知道什么有效，并实现复合改进。
主要能力 技能涵盖多种测试类型：主题行测试（变体如「Quick question about [Company]」）、开场白测试、CTA 测试（如「Worth a 15-minute call?」）、语气/风格测试。每种测试都给出了示例变体和对应指标，例如主题行测试关注打开率、回复率、垃圾邮件率，样本量建议每个变体至少 50–100。
在实现层面，技能提供了测试架构（如 MessageABTest 类）、变体选择逻辑、结果追踪、统计分析与测试管理。统计部分包括样本量计算、显著性检验（卡方比例检验）、以及多臂老虎机中的汤普森采样，用于在测试期间平衡探索与利用并自动将流量转向获胜变体。测试管理包括测试生命周期（假设、设计、配置、启动、监控、分析、结论、部署）和并发测试管理（防止测试干扰，例如相同消息位置冲突、受众重叠超过 50% 等）。此外还包含测试仪表盘报告和自动化洞察的生成方法。
使用方式 资料给出了代码示例（Python），展示了如何定义测试配置、选择变体、记录结果、检查显著性、计算样本量、运行卡方检验、实施汤普森采样以及管理测试。用户可通过这些代码结构在销售机器人中集成消息级 A/B 测试。安装或具体命令行安装方式资料中暂未提供。
适用场景 适用于需要优化销售机器人会话中单条消息效果的开发者，尤其是希望快速迭代消息变体、明确知道哪条消息有效、并基于统计显著性做出决策的场景。
限制与注意事项 技能强调最佳实践：一次只测试一个变量，测试有意义的差异，保证代表性样本和足够样本量。常见陷阱包括提前查看并停止、同时运行太多测试、测试微小差异、忽略次要指标、未考虑季节性等。资料中未提供具体的收费、价格或平台限制信息。