用途
该技能用于对 Datadog Agent Observability 中的 trace 或 session 进行分类，判断用户意图是否得到满足，输出满意度判定（yes / partial / no）以及一句简要理由。它既可独立调用，也可由 eval-pipeline 调用。
主要能力
- 三种输入模式：session_id 模式（对单个 Datadog CMD+I 助手会话分类）、trace_id 模式（对单条 Agent Observability 追踪分类）、ml_app 模式（按 LLM 应用名抽样批量分类）。
- 输出格式：默认紧凑格式（verdict + reason 一句话）；请求 verbose 时输出完整 markdown 报告。ml_app 模式在每条 trace 的紧凑块之后始终附加汇总表。
- 内容检索级联：C1 使用 get_llmobs_agent_loop 获取完整系统提示、用户消息、工具调用参数与结果、助手响应及 token 经济；C1 返回空时回退到 C2（对 LLM 子 span 调用 get_llmobs_span_content(field="messages")）；再回退到 C3（对根 span 调用 field="input"/"output"）；最后 C4 仅用结构信号分类。
- 完整性门槛：在级联对每个 turn 运行完毕前，不进入 RUM 或分类阶段；search_llmobs_spans 的预览（约 200 字符截断）不满足该门槛。
- 短会话（≤20 turns）对每个 turn 运行 C1/C2；长会话（>20 turns）对前 5 与后 5 个 turn 运行，并扫描其余 turn 预览中的异常。
- 下钻检查：对包含客户端渲染工具、写操作或带 error_message 的迭代进行定向提取，识别静默失败（如 403/not allowlisted、404、500、Session not found、空数据查询导致的幻觉等）。
使用方式
- 后端检测：若调用中任意位置传入 --backend pup 则立即使用 pup 模式；否则检查活动工具列表中是否存在 mcp__datadog-llmo-mcp__search_llmobs_spans，存在则用 MCP 模式；不存在则运行 pup --version 检查 pup 是否可用，可用则用 pup 模式；两者都不可用则停止并提示用户连接 MCP 服务器或安装 pup。
- MCP 服务器连接命令：claude mcp add --scope user --transport http datadog-llmo-mcp 'https://mcp.datadoghq.com/api/unstable/mcp-server/mcp?toolsets=llmobs,rum'
- pup 调用规则：通过 Bash 执行 pup llm-obs <subcommand> [flags]；pup 始终输出 JSON，直接解析；若返回认证错误，提示用户运行 pup auth login 并停止。
- 时间参数：pup 接受裸时长字符串（1h、7d、30m）和 RFC3339 时间戳；不要使用 now- 前缀，转换时需去掉前缀（now-7d → 7d）。
- 调用 ID 与意图标记：每次调用开始时生成 8 位十六进制调用 ID，并在每个 MCP 工具调用的 telemetry.intent 前加上 skill:agent-observability-session-classify[<inv_id>] —，首次调用使用带 :start 后缀的形式。
- 输入参数：session_id（session_id 模式必填）、trace_id（trace_id 模式必填）、ml_app（ml_app 模式必填）、timeframe（ml_app 模式可选，默认 now-7d）、sample_limit（ml_app 模式可选，默认 20，上限 50）。若三者都未提供，立即返回 missing_input 错误。
适用场景
- 评估 Datadog CMD+I 助手会话中用户意图是否被满足。
- 对单条 Agent Observability 追踪做满意度判定。
- 按 LLM 应用名抽样批量分类会话或追踪，并生成汇总表。
- 作为 eval-pipeline 的组成部分被调用。
限制
- 需要 Datadog MCP 服务器或 pup CLI 之一可用，否则无法运行。
- 内容可能因功能开关被脱敏（<REDACTED_INPUT>、<MASKED_STREAMING_RESPONSE>、"REDACTED"），此时只能依赖结构信号。
- 预览字段被截断至约 200 字符，不能作为分类依据。
- ml_app 模式下 pup 后端不支持 Option A（aggregate_spans），需直接进入 Option B。
- 工具名列表（CLIENT_TOOLS、WRITE_TOOLS 等）为针对 Datadog 助手应用校准的示例，其他应用需根据实际工具名语义推断。
- 关于收费、价格、平台支持范围等具体信息，资料中暂未提供。