SuperAPI AI 工具集

analyze-experiments

数据与分析

查看项目

更新于 10-15 16:49

技能介绍

用途:对实验做全面深入分析,支持 ship/no-ship 决策,也可检查进行中实验的早期信号、解释成功或失败原因、排查异常或分群效应。

主要能力:通过 Amplitude 相关工具检索与获取实验,读取变体、流量分配、主/次指标与护栏指标;做流量平衡与 SRM 检查、样本量与统计功效分析、置信区间精度评估、7 项统计有效性标志检查;分析主指标、次指标与护栏指标;按平台、用户资历、套餐、地区等维度做分群分析;结合反馈洞察解释结果;给出继续运行或结束的建议。

使用方式:用户提供实验 URL、ID 或搜索词后开始。资料提到使用 Amplitude:get_from_url、Amplitude:search、Amplitude:get_experiments、Amplitude:query_experiment、Amplitude:get_charts、Amplitude:get_feedback_insights 等工具步骤,以及 groupBy、groupByLimit 参数。若指标名无法获取,则以占位符加 metric ID 呈现。

适用场景:需要严谨评估 A/B 实验结果、判断变体是否带来实际提升、检查护栏是否退化、定位分群差异时。

限制:Amplitude MCP 无法按 ID 直接取指标名;数据不足、存在 SRM、统计假设不满足或有效性标志失败时结论可能不可靠;资料未提供具体收费、平台支持范围与效果保证。