SuperAPI AI 工具集

data-engineering-data-driven-feature

数据与分析

查看项目

更新于 10-15 10:34

技能介绍

用途

数据驱动功能开发(Data-Driven Feature Development)技能用于指导以数据洞察、A/B 测试和持续度量为核心的功能构建流程。当任务属于数据驱动功能开发相关工作流,或需要该领域的最佳实践、指导与清单时使用。若任务与该主题无关,或需要一个超出此范围的领域或工具,则不应使用该技能。

主要能力

该技能以分阶段工作流组织,每个阶段调用不同类型的专业化代理完成任务,主要分为六个阶段:

阶段 1:数据分析与假设形成

  • 探索性数据分析(EDA):使用 data-scientist 代理,分析现有用户行为数据,识别模式与机会,按行为划分用户群,计算基线指标。输出为含可视化的 EDA 报告、用户分群、行为模式与基线指标。
  • 业务假设开发:使用 business-analyst 代理,基于数据分析定义清晰的成功指标、对关键业务 KPI 的预期影响、目标用户群与最小可检测效应,可使用 ICE 评分或 RICE 优先级框架。输出为假设文档、成功指标定义与预期 ROI 计算。
  • 统计实验设计:使用 data-scientist 代理,计算达到统计功效所需的样本量,定义对照组与实验组、随机化策略,并规划多重检验校正,考虑贝叶斯 A/B 测试方法,兼顾主指标与护栏指标。输出为实验设计文档、功效分析与统计检验计划。

阶段 2:功能架构与埋点设计

  • 功能架构规划:使用 backend-architect 代理,设计具备 A/B 测试能力的功能架构,包含功能开关集成、渐进式发布策略、熔断保护以及对照组与实验组逻辑的清晰分离。
  • 埋点设计:使用 data-engineer 代理,定义用户交互事件 schema、用于分群分析的属性,设计漏斗跟踪与转化事件,规划队列分析能力。
  • 数据管道架构:使用 data-engineer 代理,设计实时流处理、批处理、数据仓库集成,以及适用时的 ML 特征存储,并确保数据治理与合规。

阶段 3:带埋点的实现

  • 后端实现(backend-architect 代理):在决策点加入功能开关检查、完整事件追踪、性能指标采集、错误追踪与监控。
  • 前端实现(frontend-developer 代理):实现所有用户交互的事件追踪、会话录制集成(如适用)、性能指标(Core Web Vitals)与错误边界,确保对照组与实验组体验一致。
  • ML 模型集成(如适用,ml-engineer 代理):低延迟在线推理、模型版本间的 A/B 测试、模型性能追踪与自动回退机制。

阶段 4:上线前验证

  • 埋点验证:在预发环境测试所有事件追踪,验证数据质量与完整性、漏斗定义、用户识别与会话跟踪。
  • 实验配置:设置功能开关的定向规则、流量分配(从 5-10% 开始)、终止开关与关键指标监控告警,测试随机化与分配逻辑。

阶段 5:发布与实验

  • 渐进式发布:从内部试用开始,再到 beta 用户(1-5%),逐步提升至目标流量,监控错误率、性能指标与早期信号,支持异常自动回滚。
  • 实时监控:创建实验指标的实时看板,配置统计显著性告警,监控护栏指标,跟踪系统性能与错误率。

阶段 6:分析与决策

  • 统计分析:计算带置信区间的统计显著性,检查分群层面的效应,分析次要指标影响,可同时使用频率派与贝叶斯方法。
  • 业务影响评估:计算实际与预期 ROI,评估对关键业务指标的影响与成本收益,给出全面上线、迭代或回滚的建议。
  • 发布后优化:分析实验组用户行为模式,识别用户旅程中的摩擦点,提出改进建议并规划后续实验。

使用方式

技能以指令形式运行,要求:澄清目标、约束与所需输入;应用相关最佳实践并验证结果;提供可执行步骤与验证方式。工作流通过 Task 工具调用不同 subagent_type 的代理完成各阶段任务,并用 $ARGUMENTS 表示待开发功能。

配置项包括:实验配置(最小样本量、置信水平、运行天数、流量分配策略 gradual/fixed/adaptive)、分析平台(amplitude、segment、mixpanel)、功能开关提供方(launchdarkly、split、optimizely、unleash)、统计方法(频率派、贝叶斯)、监控(实时指标、异常检测、自动回滚)。这些是配置示例值,实际取值需按环境确定。

适用场景

适用于需要在功能开发全流程中融入数据分析、埋点、A/B 测试与持续度量的团队与项目,尤其是希望以数据洞察驱动产品决策、以受控实验验证功能效果的场景。

成功标准与协作要点

成功标准涉及:数据覆盖(100% 用户交互按事件 schema 追踪)、实验有效性(随机化正确、统计功效充足、无样本比例不匹配)、统计严谨性、业务影响、技术性能(p95 延迟不退化、错误率低于 0.1%)、决策速度与学习成果沉淀。协作上强调数据科学家与业务分析师共同形成假设,工程师将埋点作为第一等需求,功能开关支持安全实验,实时监控支持快速迭代与回滚,并在统计严谨与业务实用性之间取得平衡。

限制

仅当任务明确符合上述范围时使用本技能。输出不应替代针对具体环境的验证、测试或专家评审。若缺少所需输入、权限、安全边界或成功标准,应停止并请求澄清。示例中的样本量、置信水平、运行天数、流量分配比例、错误率阈值与工具名称均为技能文档中的配置示例或备选,具体实施参数与工具可用性暂未提供进一步说明。