SuperAPI AI 工具集

diagnosing-experiment-results

智能体与模型

查看项目

更新于 10-16 03:45

技能介绍

用途:回答“我的 PostHog 实验结果看起来不对、有偏差或为空,是怎么回事”。先按用户描述在分派表中匹配症状,再读取对应参考文件中的诊断项。每个诊断按验证强度标注 [HIGH](在 PostHog 代码中直接验证)、[MEDIUM](部分或团队来源验证)、[LOW](未验证的 SDK/外部行为,应作为假设测试而非事实断言)。

使用方式:第一步解析实验,若用户只给名称或描述,先用 finding-experiments 技能解析出具体 ID;调用 experiment-get 获取变体分流比例、multiple_variant_handling、曝光事件配置、filterTestAccounts、标志状态与日期、分组配置、stats_config 等字段。第二步前先拉取诊断快照,多数诊断无需访谈即可确认或排除。随后按症状匹配诊断组:A 偏差与偏斜(分流不均、SRM、身份碎片化、标志与实验状态不一致);B 空实验/零曝光;C 显著性解读陷阱(显著性翻转、A/A 测试、贝叶斯与频率派混淆、多重比较、窥视);D 数字与 SQL 不一致(曝光范围、漏斗归因、分解、收入求和、录像面板差异);E 中途改动后的异常(生命周期与留存怪癖);F 定性反馈(问卷,需判断是否适合该实验)。

限制:症状不明确时先问一个澄清问题,不要猜测;只列出有验证路径的诊断,并独立呈现共现机制;建议需按实验状态(草稿、运行中、已停止/归档)限定范围,已停止实验不要主动提供状态回滚方案。具体命令与代码以官方资料为准,本资料未提供完整示例。