SuperAPI AI 工具集

configuring-experiment-analytics

数据与分析

查看项目

更新于 10-15 16:16

技能介绍

用途:该技能回答实验分析中的两个问题——谁被纳入分析,以及如何衡量影响。它用于配置 PostHog 实验的分析侧,包括暴露口径和指标。

主要能力:

  1. 暴露口径:可选默认暴露事件,用户仅在代码中实际遇到功能标志时被纳入;适用事件由服务端决定,应通过 experiment-get 读取 resolved_exposure_event($feature_flag_called 或 $experiment_exposure),不要假定名称。也可选自定义暴露事件,以更严格地控制进入分析的用户。
  2. 多版本处理:当用户暴露于多个版本时,可选“从分析中排除”或“使用首次见到的版本”。需注意:排除加入组不均会引入偏差;未上线或暴露用户很少时可改为均匀分流并用总体放量控制测试版暴露;已上线的显著暴露实验应改用“使用首次见到的版本”,避免中途改分流导致重新分配。
  3. 过滤测试账户:exposure_criteria.filterTestAccounts 默认 true,排除内部/测试用户。
  4. 指标:指标通过 experiment-update 以内联指标(metrics 数组,整体替换,需先 experiment-get 保留现有指标)或共享(已保存)指标(通过 saved_metrics_ids 附加,也整体替换)两种方式加入。优先复用共享指标,仅在无合适共享指标时新建内联指标。

必要用法:新建内联指标前必须先用 experiment-saved-metrics-list?event=<事件名> 按定义(事件或动作加指标类型)查找可复用的共享指标,不能按名称匹配,也不能用 search 做定义匹配。附加共享指标时调 experiment-get 读取当前 saved_metrics,再调 experiment-update,saved_metrics_ids 要传完整集合,每项形如 { "id": <saved-metric id>, "metadata": { "type": "primary" } };注意要用 saved_metric 字段值而非链接 id。

构建内联指标前必须调用 read-data-schema 确认真实存在的事件,不能凭猜测建议事件名;只有用户明确要埋点尚未接入的事件时才可用 allow_unknown_events: true。

指标类型:kind 为 ExperimentMetric,metric_type 有 mean(每用户数值属性均值)、funnel(从暴露开始的转化率,漏斗自动把暴露事件作为 step_0)、ratio(一个事件相对另一个的比率)、retention(用户是否回访,需 start_event、completion_event、retention_window_start、retention_window_end、retention_window_unit、start_handling)。均值与漏斗可用于同一事件,区别在关注数量/幅度还是是否转化。留存中起点事件本身不计为其完成,可用相同事件做重复留存或不同事件做转化式留存。主指标驱动上线/结束决策,次指标提供背景并可用作护栏指标。

适用场景与限制:适用于配置实验分析、选择暴露口径、处理多版本用户、筛选测试账户、创建与复用指标。比率需用 math: "sum" 加 math_property 聚合属性,过滤器不聚合;schema 细节以 references/metric-configuration.md 为准。部分细节(如具体价格、平台限制)资料暂未提供。