SuperAPI AI 工具集

observability-llm-obs

智能体与模型

查看项目

更新于 10-15 21:37

技能介绍

用途:仅依据已采集进 Elastic 的数据,回答 LLM 与智能体应用的监控问题,包含四类:LLM 性能、成本与 token 用量、响应质量、调用链与智能体编排。部署通常使用一种或多种采集路径:APM/OTLP traces,和/或集成指标与日志;存在哪些路径需先发现,不应假设两者都有。ES|QL 语法查询请使用 elasticsearch-esql 技能;非 LLM 的服务级延迟与错误排查请用 observability-sre-triage 技能。

主要能力:发现部署实际使用的 LLM 采集路径;发现真实的 LLM 字段名(GenAI 属性命名不一致);按模型、服务或时间报告延迟、吞吐与错误率;报告 token 用量,仅当成本字段真实存在时报告成本;排查响应质量失败、超时、完成原因、内容过滤与护栏事件;重建智能体调用链并找出多步工作流瓶颈 span;关联 LLM 相关数据上定义的 SLO 与告警规则。

使用方式:通过 elastic CLI 执行 Elasticsearch 操作,HTTP 简写如 GET /、GET /_cat/indices、POST /_query 对应 elastic es info、elastic es esql query --format tsv --query '<esql>' 等命令。若无 elastic CLI,需说明用途,不可猜测凭据或直接调用 HTTP API。无集群访问时仍可基于用户提供的证据分析,并说明会检查哪个查询、索引与字段。查询用 POST /_query,限定时间范围并加 LIMIT。典型轨道:traces-* 用于每请求分析与调用链,集成指标 metrics-<integration>.* 用于长窗口聚合 token 与成本。事件时间序列语法按版本:Serverless 或 Stack 9.4+ 可用 TS、TRANGE、TBUCKET,更低版本回退 FROM 与 BUCKET(@timestamp, ...)。

适用场景与限制:仅回答 Elastic 中已采集的数据;成本不在 OpenTelemetry GenAI 规范内,无成本字段即报告未采集,不得用 token 乘猜测单价;只有 traces 能通过 trace.id、span.id、parent.id 重建调用链,仅集成指标时无法重建;动态映射属性可能有类型冲突,聚合前用 TO_LONG(...) 转换;不依赖 Kibana UI,SLO 与告警用 Kibana API。字段路径与集成细节参考相关 references 文件。