SuperAPI AI 工具集

llm-obs-session-classify

数据与分析

查看项目

更新于 10-15 20:33

技能介绍

用途:对 Datadog LLM Observability 的会话或 trace 做满意度分类,判断用户意图是否被满足,输出 verdict(yes / partial / no)和一句话 reason,可独立调用或由 eval-pipeline 调用。

主要能力:支持三种输入模式——session_id(分类单个 CMD+I 助手会话,并结合 RUM 行为信号)、trace_id(分类单条 trace)、ml_app(按应用名采样,默认时间窗 now-7d,sample_limit 默认 20、上限 50)。默认输出紧凑格式,传入 verbose: true 可得到完整 markdown 报告;ml_app 模式会附加汇总表。

使用方式:需提供 session_id、trace_id 或 ml_app 之一,否则返回 missing_input 错误。后端检测顺序为:参数含 --backend pup 则用 pup;否则若存在 MCP 工具 mcp__datadog-llmo-mcp__search_llmobs_spans 则用 MCP;否则检查 pup --version,可用则用 pup;两者都不可用则提示连接 MCP 或安装 pup。pup 通过 Bash 调用,如 pup llm-obs spans search --query "@session.id:<ID>" --root-spans-only --limit 500 --from 90d,输出 JSON 可直接解析;认证失败需运行 pup auth login。内容读取按 C1 get_llmobs_agent_loop、C2 expand_llmobs_spans + get_llmobs_span_content(field="messages")、C3 根 span 的 input/output、C4 仅结构信号的级联进行;短会话(≤20 轮)逐轮读取,长会话取首尾各 5 轮并扫描异常预览。

适用场景:Datadog 助手类应用的会话质量评估、trace 满意度审计、按应用批量采样分类。

限制:需要 Datadog MCP 或 pup 之一可用;内容可能因功能开关被 REDACTED 或 MASKED,此时只能依赖结构信号;pup 模式下 ml_app 的 aggregate_spans 选项不可用,session 模式的 RUM 步骤改用 pup rum aggregate --user-email;预览字段截断约 200 字符,不能作为判定依据。