用途:扫描 Amplitude 项目中进行中和近期完成的实验,筛选出需要关注的对象,并对关键实验做深入分析与报告。该技能定位为监控,输出尽量面向非专家,避免统计术语(不使用 p 值、功效分析等);针对单个实验的深入分析应改用 analyze-experiments 技能。
主要能力与使用方式:
- 发现与筛选:调用 Amplitude:get_amplitude_context 确定项目;用 Amplitude:search_amp_entities 以 entityTypes: ["EXPERIMENT"] 搜索,按 lastModified 排序。纳入仍在运行且非 stale 的实验,以及已完成、有决策记录且近 14 天修改过的实验;排除草稿、已禁用和 stale 实验。
- 获取元数据与结果:用 Amplitude:use_amp_experiments action "get",每次最多 3-5 个 ID,且需先用搜索结果过滤。用 action "analyze"(可不传 metricIds)获取主指标结果与数据质量标记,只提取 summary 对象和有效性标记,忽略 timeseries、xValues、bulk 数组。指标名称通过 search_amp_entities(entityTypes: ["METRIC"]、queries: []、limitPerQuery: 50)解析并建立 id 到名称的映射。
- 报告结构:分为两部分。顶部为摘要与行动项,包含一张表格(实验、状态、时长、Lift、结论)和三类行动项(立即行动、持续观察、需要配置);底部为详情,包括需关注实验的深入分析(最多 3 个)、运行中实验的一行状态、近期已决策实验的简述、需要配置的清单。摘要表是整体状态的唯一来源,详情不重复其信息。
限制与注意事项:不得向用户展示原始指标 ID,无法解析名称时按角色描述(如主指标、护栏指标)。数据质量检查在报告指标结果之前进行,包括样本比例失衡(SRM)、流量分配中途变更、样本量足够性与有效性标记。表现解读使用“不显著”而非“无效果”。若检测到 SRM 或严重标记失败,需提示结果需谨慎解读。实验过多时摘要表覆盖全部、深入分析最多 3 个。查询报错、无指标配置、问卷/提示类实验等均有对应处理规则(如标记 Fix config 或 N/A)。
适用场景:团队需要周期性了解实验组合状态、发现需要行动的实验并生成面向非专家的报告。具体收费、平台支持范围等资料暂未提供。