用途
ads-test 是一个面向付费媒体实验(paid media experiment)的技能,用于设计并评估广告投放相关的实验。它的核心目标是把一个广告实验从模糊想法转化为可执行、可复核的设计,并在实验结束后给出基于数据的决策。
主要能力
该技能要求在使用时明确以下要素:决策目标、因果假设、处理组(treatment)、对照组(control)、随机化单位、目标人群、主要指标、护栏指标(guardrails)、最小效应和停止规则。
在设计阶段,它会检查平台约束、实验之间是否重叠、转化延迟、季节性、干扰以及测量质量。它还会根据声明的假设计算样本量和实验时长,并披露其中的近似处理。
该技能强调一次只改变一个决策面,除非实验设计明确要估计交互作用。它要求预先登记排除规则、质量检查、分析方法和决策阈值。
在读取结果阶段,它会先验证分组分配的完整性和数据的完整性,然后再估计效应和不确定性。最终以带版本的 JSON 返回实验设置或读取结果,并附上通俗语言的决策说明。
使用方式
该技能以技能(skill)形式提供,可通过其页面 https://www.skills.sh/agricidaniel/claude-ads/ads-test 访问。具体安装命令和调用方式在现有资料中暂未提供。
适用场景
适用于需要设计或评估付费广告实验的场景,例如确定实验的随机化单位、计算所需样本量与时长、检查实验重叠与干扰、预先设定停止规则,以及在实验结束后进行效应估计与决策。
限制
该技能明确禁止以下行为:反复窥探数据并在出现有利结果时停止;把统计功效不足的噪声称为赢家;把结论推广到测试人群之外。此外,关于收费、价格、平台支持范围等信息,现有资料暂未提供。