SuperAPI AI 工具集

analyze-experiments

设计与创作

查看项目

更新于 10-15 16:48

技能介绍

用途:面向 A/B 实验的深度分析,辅助做出发布/不发布决策,而非简短摘要。可设计带指标与变体的实验,分析运行中或已完成的实验,解释成功或失败原因,排查异常与分群差异。

主要能力:识别实验(通过 URL、ID 或搜索);调取设置并校验(名称、状态、起止时间、变体及流量分配、主次指标、护栏、分桶策略);数据质量检查(SRM 流量平衡、样本量、统计功效、置信区间精度,以及 statsAssumptionsMetForWholeExperiment、hasSuspiciousUplift、isVariancePositive、isConfidenceIntervalNotFlipped、isStandardErrorLargeEnough、isPointEstimateInsideConfidenceInterval、isMeanValid 等标志);主指标分析(基线、提升绝对值与相对值、p 值、95% 置信区间、统计与业务显著性);次指标与护栏分析;按平台、用户任期、套餐、地区等分组的分群分析;时长评估与样本量/时间线建议;结合用户反馈解释原因;输出结构化报告与 SHIP/ITERATE/ABANDON/NEED MORE DATA 建议。

使用方式:通过 Amplitude MCP 工具操作,如 Amplitude:get_from_url、Amplitude:search、Amplitude:get_experiments、Amplitude:query_experiment、Amplitude:get_charts、Amplitude:get_feedback_insights。查询主指标时不传 metricIds;分析全部指标时传 metricIds;分群时使用 groupBy 与 groupByLimit: 10。

限制:Amplitude MCP 无法按指标 ID 直接获取指标名称,需通过搜索相关图表或实验描述推断,否则以含 ID 的占位名报告。数据不足、实验为草稿、变体或指标未定义时应说明缺失并停止。统计功效不足时建议延长运行而非过早决策。本资料未提供收费、价格、平台支持范围或具体安装命令等信息。