用途:为 LaunchDarkly 的 AI 配置变体挂载评判器,用 LLM-as-a-judge 方式自动评估响应质量,返回 0.0–1.0 的分数与理由。
主要能力:内置 Accuracy、Relevance、Toxicity 三个评判器(指标键分别为 $ld:ai:judge:accuracy、$ld:ai:judge:relevance、$ld:ai:judge:toxicity);可创建自定义评判器并设置评估提示词、模型与温度;可为变体挂载多个评判器并分别设置采样率;结果可在 Monitoring 标签的 Evaluator metrics 中按变体与时间查看,约 1–2 分钟出现;评估指标可接入 guarded rollouts 与 experiments。
使用方式:需启用 AgentControl 的 LaunchDarkly 账号、具写权限的 API 令牌,以及已有变体的配置。优先使用 LaunchDarkly MCP 工具(OAuth 认证,无需令牌);需直接调用 REST API 时,让用户在本会话粘贴 API 令牌替换 {api_token},不要从环境变量、.env 或配置文件中查找凭据。创建评判器用 POST /api/v2/projects/{projectKey}/ai-configs(mode 为 judge,含 evaluationMetricKey、isInverted),再 POST .../variations 添加评估提示词;挂载用 PATCH .../ai-configs/{configKey}/variations/{variationKey},judges 数组会替换全部已有挂载,空数组即移除;评判器配置需用 updateFallthroughVariationOrRollout 设置 fallthrough(turnTargetingOn 对配置无效)。SDK 侧:create_model()+run() 会自动评估,create_judge()+evaluate() 用于直接评估输入输出对,直接评估不会自动记录指标,需用 tracker.track_judge_result 记录。
限制:评判器仅能在 UI 中挂载到 completion 模式配置,agent 模式或自定义管线需用 SDK 编程评估;不能给评判器再挂评判器;同一变体不能挂多个相同指标键的评判器;评判器变体不可查看/编辑模型参数或工具。每次评估会额外调用模型提供商,增加 token 与成本,建议从低采样率开始。自动指标记录与合并评判结果 API 需 Python 或 Node.js AI SDK v0.20.0+。
适用场景:对 AI 配置变体做自动质量评分、回归检测与实验对比。
暂未提供:具体价格与配额信息。