用途
该技能为已经完成埋点的 ml_app 提供一条确定性的六阶段引导流水线，覆盖从生产 trace 分类到实验分析的全过程。它本身不包含新的分析逻辑，而是负责编排与讲解：每个阶段都使用相同的信封结构——说明本阶段产出的实体、解释其用途、执行动作（调用子技能或执行小步骤）、并设置检查点，让用户始终清楚当前所处位置。
主要能力
流水线包含六个阶段：
- 分类 ml_app trace（实体：ml_app、trace、span）
- 根因分析（实体：failure mode、root cause）
- 引导生成评估器（实体：evaluator、LLM judge），可用 --stop-after eval-bootstrap 在此停止，对应经典 eval-pipeline 行为
- 创建并发布数据集（实体：dataset record、published dataset），执行 LLMObs.create_dataset
- 生成并运行实验（实体：experiment、task、evaluator、run），执行 python <generated_file>，运行前有阶段内评审环节
- 分析实验（实体：metric、comparison、recommendation）
具体工作由子技能承担：agent-observability-session-classify、agent-observability-trace-rca、agent-observability-eval-bootstrap、agent-observability-experiment-bootstrap、agent-observability-experiment-analyzer。
使用方式
调用格式：
/agent-observability-eval-pipeline <ml_app> [--project-name <name>] [--timeframe <window>] [--trace-limit <N>] [--format py|ipynb] [--evaluator-style function|class|remote] [--offline-evaluators | --online-evaluators | --data-only] [--start-at classify|rca|eval-bootstrap|dataset|experiment|analyze] [--stop-after classify|rca|eval-bootstrap|dataset|experiment|analyze] [--classification-summary <path>] [--rca-report <path>] [--dataset-file <path>] [--dataset-name <name>] [--experiment-file <path>] [--experiment-id <uuid> | --experiment-url <url>] [--app-root <path>] [--env-file <path>] [--output-dir <dir>] [--backend pup]
关键参数：ml_app 为必填，指定要评估的已埋点 LLM 应用；--project-name 默认从 pyproject.toml / setup.cfg / setup.py / package.json / cwd 推导，最终为 experiment-<service-name>，无法解析时回退 experiment-sdk-default；--timeframe 默认 now-7d；--trace-limit 默认 20；--format 默认 py；--evaluator-style 默认 function；--offline-evaluators 默认开启，--online-evaluators 与 --data-only 默认关闭，三者互斥；--stop-after 默认 analyze（跑完全部）；--start-at 默认 classify；--output-dir 默认 ./experiments；--backend 默认自动检测，pup 可强制 pup 模式。旧参数名 --publish 与 --sdk-code 仍作为别名接受。
后端检测：若调用中任意位置传入 --backend pup，立即使用 pup 模式；否则检查工具列表中是否存在 mcp__datadog-llmo-mcp__search_llmobs_spans，存在则用 MCP 模式；不存在则运行 pup --version 检查 pup 是否可用；两者都不可用时停止并提示用户连接 MCP 服务器或安装 pup。启动时生成 8 位十六进制 invocation ID，并在每次 MCP 工具调用的 telemetry.intent 前加上 skill:agent-observability-eval-pipeline[<inv_id>] — 前缀，首次调用使用 :start 后缀。
预检：在阶段 1 之前执行一次简短验证，包括确认后端、确认 ml_app 在指定时间窗口内有 trace、解析 project_name、创建 output-dir 与 state 子目录、按发现顺序解析 Datadog 凭据（--env-file、shell 环境、output-dir/.env、app-root/.env、app-root/.env.local、cwd/.env、父目录逐级查找、~/.datadog/credentials）。必需键为 DD_API_KEY 与（DD_APPLICATION_KEY 或 DD_APP_KEY），DD_SITE 可选。凭据缺失时停止并给出导出环境变量或放置 .env 的指引，不代为创建 .env 文件。
适用场景
适用于已接入 Datadog LLM Observability 并产生生产 trace 的 ml_app 所有者，希望系统性地对生产 trace 进行分类、定位失败根因、生成评估器、构建数据集、运行实验并分析结果。可通过 --start-at 与 --stop-after 运行流水线的连续片段，也可通过各覆盖参数复用先前阶段的产物。
限制
该技能为纯编排与教学，不包含新的分析逻辑。需要 MCP 服务器或 pup CLI 至少其一可用，且需要有效的 Datadog 凭据。预检要求 ml_app 在指定时间窗口内存在 trace，否则无法继续。三个评估器输出标志互斥。项目由 SDK 在首次调用 LLMObs.enable(project_name=...) 时惰性创建。关于具体收费、价格、平台支持范围等信息，资料中暂未提供。