用途:审计 PostHog A/B 实验的测量机制,而非评判实验结果好坏。它关注实验配置与数据流之间的矛盾,例如样本比例失衡(SRM)、$multiple 污染、曝光停滞、运行中修改标志导致用户重新分桶,以及指标结构上无法回答假设的情况。
主要能力:通过 experiment-results-get 读取曝光块,获取各变体总曝光、每日时间序列、卡方 SRM p 值与 bias_risk.multiple_variant_percentage;检查指标 validation_failures 与 data: null;识别僵尸实验、生命周期漂移、已结束实验的标志仍在服务多变体等。
使用方式:先做低成本定向读取,如 scout-scratchpad-search、scout-runs-list、scout-project-profile-get、inbox-reports-list;再用 experiment-list 筛选运行中实验,仅对近约 90 天或已知活跃的实验做逐实验分析(每轮上限约 10 个)。必要时用 execute-sql 诊断,注意 HogQL 字符串时间戳按项目时区解析,建议用 now() - INTERVAL N DAY。报告通过 scout-emit-report / scout-edit-report 直接撰写,已有报告覆盖的威胁应编辑而非新建。
适用场景:运行中实验的有效性监控、曝光异常排查、指标机制故障发现、实验生命周期清理。
限制:活动历史为可选能力,不可用时不得重试或绕过;低曝光量下统计波动大,低于约 1000 次分桶曝光不应判定 SRM;旧版实验指标(ExperimentTrendsQuery / ExperimentFunnelsQuery)不被该工具支持,需回退到曝光 SQL;指标涨跌不属于其职责。部分细节资料未提供。