用途:把产品问题转化为可度量的决策。核心观点是:只有功能开关而无可信曝光数据和决策规则,属于发布控制而非实验。
主要能力(六种模式):设计——产出实验简报与分析计划;实施——加入分流、曝光追踪、指标与护栏;仅灰度发布——无需因果推断时安全放量;验证——上线前审计埋点与分流;分析——估计效应并诊断数据质量;总结——决定上线、迭代、继续或回滚并记录理由。设计保持厂商无关,已有分析/开关服务时优先复用。
实验简报需记录:产品决策与因果假设、作用机制、适用人群与排除项、分流与曝光单位及身份转换规则、对照组与变体、实验键与不可变版本、含分子分母窗口方向的主要结果、护栏与诊断指标、基线、最小可检测效应与不确定性方法、最小观察窗口与停止规则、放量阶段、终止条件、负责人与回滚路径,以及正/中性/有害/无效结果各自触发的动作。输入缺失时说明现在能设计什么、上线前必须测什么,不臆造功效或时长。
工作流:检查产品、事件分类、身份模型、分析、开关系统与部署约束;选定匹配因果问题的分流与曝光单位,处理匿名到登录身份、分组、重复曝光、干扰与并发实验;实现确定性分流;在治疗可影响行为处记录一条去重曝光(含实验键、版本、变体、主体、时间戳与上下文),不得以开关评估替代曝光;用可测模式埋点结果与护栏并验证曝光可与结果关联;以小比例初始放量,监控错误、延迟、数据丢失、样本比例失配与护栏后再扩量;达到计划成熟窗口后再分析,报告效应量与不确定性而非只看显著性,检查样本比例失配、缺失、新奇/遗留效应、偷看、多重比较、删失与分群;按预写决策规则得出结论并区分无效、不确定、中性、有益与有害;清理或转正开关,记录决策并验证决策后状态。
厂商指引:若已选 PostHog 且存在相关实现说明则参考;缺失时查看已装版本并使用当前官方文档,不复制记忆中的 SDK 代码。缺少度量层时使用可用分析能力或给出厂商中立的精简事件契约并指出阻塞点。
安全限制:未经审查不得向用户暴露涉及安全、隐私、计费或不可逆风险的变体;最小化敏感属性并定义实验数据保留与访问控制;不得基于功效不足或无效数据建议上线;看到结果后不得悄悄更改主要指标或排除项。
输出契约:按情况返回实验简报与分析计划、实现变更与事件模式、上线前验证报告、分阶段放量与回滚计划、含数据质量检查与效应量的分析、或含后续项与开关清理的决策记录。
验证项:分流稳定且符合目标单位;曝光去重、带版本且在治疗可作用时记录;曝光可与结果及护栏事件关联;对照组与治疗组通过功能测试;终止开关、厂商故障行为与回滚已测试;检查样本比例失配与事件完整性;分析遵守登记人群、窗口与决策规则;最终决策包含实际显著性、不确定性、局限与清理。具体命令与代码示例资料中未提供。