SuperAPI AI 工具集

monitor-experiments

部署与运维

查看项目

更新于 10-15 19:56

技能介绍

用途:扫描 Amplitude 项目中运行中和近期完成的实验,找出需要关注的对象并生成报告。面向非专家,避免统计术语(不用 p 值、不做功效分析)。如需对单个实验做深入分析,应改用 analyze-experiments 技能。

主要能力:先通过 get_amplitude_context 确认项目,再用 search(entityTypes: [EXPERIMENT])按 lastModified 排序发现实验;筛选条件是处于运行状态且非 stale 的实验,以及已有结论且最近 14 天内修改过的已完成实验,排除草稿、被禁用和 stale 实验。随后用 get_experiments 分批(每批 3-5 个 ID)获取元数据,解析指标名称,并用 query_experiment 获取主指标结果与数据质量标记。

报告结构:上部分为摘要表与行动项,表格列含实验名、状态、时长、主指标相对提升、结论;结论词包括 Ship、Iterate、Monitor、Abandon、Decided: Ship、Decided: Don't ship、Fix config、Needs metrics、N/A。行动项分为 Act now、Keep watching、Needs setup,每个实验只出现一次。下部分为详情,按深挖(最多 3 个)、运行中实验一句话状态、近期已决定简述、需要配置四类组织。

数据质量与限制:先检查数据质量再报结果,关注 SRM、流量分配中途变动、样本量(每变体 <100 不足、100-1000 仅供参考、1000+ 较充分)以及各项有效性标记,失败时按严重程度提示。不要在报告中显示原始指标 ID,无法解析名称时按角色描述。不要输出 p 值;用“不显著”而非“无效果”。若响应过大,只提取摘要对象和有效性标记,忽略时间序列等大数组。query_experiment 报错时以 Fix config 标记并注明负责人。以上为技能文档提供的流程说明,具体接口与参数以官方资料为准,实际效果、价格等信息暂未提供。