用途
该技能用于分析 LLM 实验结果，可处理单个实验或两个实验的对比，并支持探索性分析与问答两种模式。
主要能力
- 后端自动检测：若用户传入 --backend pup 则直接使用 pup 模式；否则检查是否存在名为 get_llmobs_experiment_summary 的 MCP 工具，存在则用 MCP 模式；若不存在则通过 Bash 运行 pup --version 检查 pup 是否可用，可用则用 pup 模式；两者都不可用则停止并提示连接 MCP 服务器或安装 pup。
- 模式判定：2 个 ID 且无问题为对比探索；2 个 ID 加问题为对比问答；1 个 ID 且无问题为单实验探索；1 个 ID 加问题为单实验问答。
- 输出方式：支持 agent（默认，在对话中展示）、file（写入文件）、notebook（导出为 Datadog 笔记本）三种。未指定时通过 AskUserQuestion 依次询问分析类型与输出目标。
- 指标分类：依据摘要返回的 mean、min、max 将指标分为 always_zero、perfect、saturated、struggling、interesting，并在提问前打印完整指标表。
- 信号发现与深度分析：仅在所选指标范围内分析，支持分段、抽样与定性检查，自动运行深度挖掘。
- 链接生成：生成 Datadog 实验对比 UI 链接、单实验 UI 链接、样本直达链接以及分段过滤链接（不确定过滤 URL 格式时省略过滤参数）。
使用方式
调用格式： /agent-observability-experiment-analyzer <experiment_id_1> [experiment_id_2] [question text] [--output agent|file|notebook]
MCP 模式使用工具：get_llmobs_experiment_summary、list_llmobs_experiment_events、get_llmobs_experiment_event、get_llmobs_experiment_metric_values、get_llmobs_experiment_dimension_values、create_datadog_notebook。pup 模式通过 Bash 调用：pup llm-obs <subcommand> [flags]，pup 始终输出 JSON，可直接解析。
若需启用 Datadog 笔记本导出，可添加 MCP 服务器： claude mcp add --transport http datadog-mcp https://mcp.datadoghq.com/api/unstable/mcp-server 参考：https://docs.datadoghq.com/bits_ai/mcp_server/setup/
相关链接： 实验对比 UI：https://app.datadoghq.com/llm/experiment-comparison 单实验 UI：https://app.datadoghq.com/llm/experiments/{experiment_id}
适用场景
- 对比候选实验与基线实验的表现差异，识别改进与回归。
- 针对某个实验提出具体问题并获取带证据的答案。
- 探索实验结果中的失败模式、错误类型分布与低表现分段。
限制
- 依赖 Datadog MCP 服务器或 pup CLI，两者都不可用时无法执行分析。
- 指标分类仅依据摘要返回的统计量，不依据标签名称或前缀推断含义。
- 分析范围受 Phase 1.5 所选指标限制，不会对选择范围外的指标调用 get_llmobs_experiment_metric_values。
- 所有输出需遮蔽或脱敏 PII，避免破坏性操作。
- 生成分段过滤链接时，若不确定 URL 格式有效性则回退到实验根链接，不虚构过滤参数。