SuperAPI AI 工具集

monitor-experiments

部署与运维

查看项目

更新于 10-15 16:48

技能介绍

用途:扫描 Amplitude 项目中活跃及近期完成的实验,筛选出需关注的对象,并按重要性分级,对关键实验开展深入分析与报告,最终生成面向非专家的监控结论。该技能属于监控类,深度分析单一实验应改用 analyze-experiments 技能。

主要能力:通过 Amplitude:get_context 获取上下文;用 Amplitude:search 以 entityTypes 为 EXPERIMENT 并限定 appIds、sortOrder 为 lastModified、limitPerQuery 50 检索实验;再以 Amplitude:get_experiments 分批(3-5 个 ID)获取元数据,提取状态、日期、变体、指标 ID、决策与负责人;通过 Amplitude:search 以 entityTypes 为 METRIC 解析指标名称;用 Amplitude:query_experiment(不带 metricIds)获取主指标结果与数据质量标记;必要时用 query_experiment(带 metricIds)查看护栏与次要指标,并用 get_feedback_insights 汇总反馈主题。

筛选规则:纳入运行中且非 stale 的实验,以及有决策记录且最近 14 天内修改过的已完成实验;排除草稿、已禁用与 stale 实验。

报告结构:顶部为汇总与行动(一张表加行动项),底部为详情。表格列含实验名、状态、时长、提升幅度与结论;结论词包括 Ship、Iterate、Monitor、Abandon、Decided: Ship、Decided: Don’t ship、Fix config、Needs metrics、N/A。行动项分为 Act now、Keep watching、Needs setup,每个实验仅出现一次。详情分区包括需关注实验的深挖、运行中实验的一句话状态、近期已决策实验的简述与需配置清单。

数据质量优先于结果呈现:先检查 SRM、流量分配变化、样本量与有效性标志;样本量低于 100/变体视为不足,100-1000 为方向性信号,1000 以上较充分。有效性标志失败按严重程度报告。SRM 或关键标志失败需加谨慎提示。指标结果用普通语言表述,不显示 p 值,用“不显著”而非“无效果”,仅当提升极小或极大时补充实际意义。护栏只关注回归,若无显著回归则一句话说明干净。若主指标显著,可汇总 2-3 条反馈主题。

限制与注意事项:单次 get_experiments 最多 3-5 个 ID,须先用搜索结果过滤;query_experiment 响应较大,只提取摘要对象与有效性标志,忽略时间序列等大数组。指标搜索不匹配查询中的指标 ID,需用 entityTypes 为 METRIC、空查询、limitPerQuery 50 并按项目范围检索后匹配。不得向用户展示原始指标 ID,无法解析时按角色描述。常见问题包括查询错误、暴露事件异常、流量严重不均衡(如 5%/95%)会导致无法有效评估。无实验、实验不足 24 小时、全部为 stale 等情形需在报告中明确说明。