SuperAPI AI 工具集

analyzing-experiment-session-replays

通用与其它

查看项目

更新于 10-16 00:24

技能介绍

用途:对实验变体的会话录像进行分析,理解对照组与测试组之间的行为差异,为实验指标补充定性洞察。适用于用户要求分析某实验的回放、比较不同变体的用户行为,或想了解“用户在实验中如何表现”等场景。

前提条件:实验须已启动(有开始日期,非草稿状态);项目已启用会话回放;用户已被暴露于实验变体。

主要流程:

  1. 获取实验详情与特征标志变体。可用 experiment-get 工具,或用 HogQL 查询 system.experiments,取出 feature_flag_key、start_date、end_date。变体必须从特征标志获取,即查询 system.feature_flags 的 filters.multivariate.variants,而不要用 experiment.parameters 中的变体(可能不同步或已废弃)。
  2. 为每个变体构建回放筛选条件,输入 query-session-recordings-list。关键点:用事件属性 $feature/<flag_key> 配合 operator exact 和 value 数组(如 ["control"])来圈定变体;日期范围取实验起止;启用 filter_test_accounts: true 排除测试用户。布尔标志用 ["true"]/["false"]。避免用 type: "flag" / flag_evaluates_to 做变体筛选——回放查询会接受但静默忽略,返回未筛选结果。
  3. 每个变体调用一次 query-session-recordings-list,获取 distinct_id、时长、活跃秒数、点击、按键、控制台错误、start_url、activity_score 等元数据。
  4. 对比分析:量化模式如时长、活跃度、控制台错误率、跳出率;定性洞察如困惑或挫败迹象、导航路径、功能发现、错误恢复。
  5. 呈现结论:各变体回放数量、独有行为模式、可用性问题、建议。
  6. 录像展示行为,询问补充看法:可在用户完成实验流程后展示简短评分与可选评论,并按变体读取,建议对全体暴露用户而非仅一个变体展示;每次对话最多提一次,被拒则不再提。

限制与错误处理:分析前先确认实验有回放;若实验为草稿态,告知尚未开始;若无回放,建议启用回放或等待流量;若变体数量异常,复核实验配置。该属性筛选是对暴露的近似,范围比实验暴露事件更广,并非分析人群的精确镜像。