SuperAPI AI 工具集

exp-driven-dev

测试与质量

查看项目

更新于 10-16 00:28

技能介绍

用途:在开发影响核心指标的新功能、搭建 A/B 测试基础设施、做数据驱动决策、为灰度发布设置功能开关、选择追踪指标时启用。

主要能力:提供 HITS 实验设计框架(假设—实现—测试—发布或停止);区分主指标与护栏指标;说明统计显著性所需样本量、置信度 95%、功效 80% 等典型设置;给出功能开关与实验分流代码模式;提供实验规格、功能开关实现、实验看板三类模板;附实验决策树与检查清单。

使用方式:按模板先写假设(我们相信某改动会使某指标上升/下降,因为某原因),定义对照组与实验组、主指标与护栏指标、样本量与时长,用功能开关按用户哈希分桶灰度放量,运行至统计显著后决定发布、停止或迭代。示例代码保留原样,如 isFeatureEnabled(user, 'new-checkout') 与 consistentHash(userId) % 100 的分桶逻辑。

适用场景:核心指标相关功能、有风险改动、影响不确定或易于 A/B 测试的功能;Netflix、Airbnb、Stripe 的实践案例作为参考。

限制:资料未提供具体收费、价格、平台支持范围与效果保证;统计参数与样本量仅为示例,实际需按业务基线计算;避免过早查看数据、缺少护栏指标、变体过多、中途改动测试等常见错误。