SuperAPI AI 工具集

analyze-experiments

设计与创作

查看项目

更新于 10-15 19:56

技能介绍

用途:对 A/B 实验做全面深入分析,支持上线/不上线决策,而非快速摘要。适用于分析已完成实验、查看运行中实验的早期信号、理解实验成败原因、排查异常结果或分群效应。

主要能力:识别实验(支持实验 URL 或 ID,可用 Amplitude:get_from_url 提取详情,或用 Amplitude:search 搜索 EXPERIMENT);用 Amplitude:get_experiments 获取实验名称、状态、起止时间、变体与流量分配、主/次/护栏指标及分桶策略;用 Amplitude:query_experiment 检查数据质量,包括流量平衡与 SRM、样本量、统计功效、置信区间精度,以及多项统计有效性标志;分析主指标、次指标与护栏指标;按平台、用户资历、套餐、地区等分群分析;评估运行时长是否充分;用 Amplitude:get_feedback_insights 结合定性反馈解释结果;最后给出结构化结论与建议。

使用方式:需通过 Amplitude MCP 调用相关工具。若用户未指定实验,需先询问 URL、ID 或搜索词。注意 Amplitude MCP 无法直接按指标 ID 获取指标名称,需通过搜索相关图表或实验描述中的链接间接查找,找不到时以占位符加指标 ID 呈现。

限制:仅适用于非草稿且已运行一定时间的实验;样本量、功效或精度不足时结论受限;SRM 或统计有效性标志失败可能使结果不可靠。具体收费、价格与平台支持情况暂未提供。