SuperAPI AI 工具集

launchdarkly-experiment-setup

设计与创作

查看项目

更新于 10-15 23:49

技能介绍

用途:在 LaunchDarkly 中设计并运行功能开关实验,衡量各变体对关键指标的影响,从创建到宣布获胜变体形成完整流程。需预先在环境中配置远程托管的 LaunchDarkly MCP 服务器。

主要能力:create-experiment 创建实验及其首个迭代(假设、指标、处理组、flag 配置);start-experiment-iteration 启动数据收集;get-experiment 查看状态、处理组、指标与当前迭代;可选 list-experiments 浏览实验、update-experiment 更新字段(受 mutableFieldsByStatus 限制,被拒字段在 skipped 中返回)、save-and-start-experiment-iteration 一次性停止当前迭代并创建应用变更的新草稿迭代并启动、stop-experiment-iteration 停止迭代、以及指标管理工具 list-metrics、create-metric、list-metric-events。

使用方式:先准备指标并确定主指标,用 get-flag 获取驱动实验规则的 ruleId 与 flagConfigVersion(fallthrough 规则的 id 为字符串 "fallthrough"),再调用 create-experiment,随后启动迭代、用 get-experiment 校验 status 为 running,需要时通过 save-and-start-experiment-iteration 修改锁定字段,最后停止迭代并上报结果。

核心概念与限制:实验由处理组(含 allocationPercent,合计应为 100,且恰有一个 baseline: true)、指标(一个主指标)、flag 配置和迭代组成,可选 holdout。每个迭代必须有 hypothesis 字符串;启动前需开关已开启、迭代有 randomizationUnit、至少一个处理组分配比例非零。停止迭代必须声明获胜处理组(若结果不显著则选基线/对照组),没有不宣布获胜者就停止的路径。update-experiment 在迭代运行中仅允许元数据等可变字段,结构变更须用 save-and-start-experiment-iteration 并传 changeJustification。不应在同一 flag 上同时运行多个实验(除非有谨慎的 holdout 设计),也不应过早就停止迭代。其他功能细节暂未提供。