SuperAPI AI 工具集

observability-llm-obs

智能体与模型

查看项目

更新于 10-15 21:37

技能介绍

用途:回答关于 LLM 与智能体组件监控的问题,仅使用已采集到 Elastic 的数据,聚焦 LLM 性能、成本与 Token 使用、响应质量,以及调用链与智能体工作流编排。使用 ES|QL、Elasticsearch API,必要时用 Kibana API;不依赖 Kibana UI。

数据来源:APM/OTel 追踪数据存于 traces*(APM Agent 采集)或 traces-generic.otel-default 等(OpenTelemetry 采集);指标可能位于 metrics-apm* 或 metrics-generic。通过 Elastic LLM 集成(OpenAI、Azure OpenAI、Azure AI Foundry、Amazon Bedrock、Bedrock AgentCore、GCP Vertex AI 等)采集的数据进入集成数据流(metrics*、logs*)。查询前应先发现可用数据流与字段。

主要能力:按模型、服务或时间统计吞吐、延迟与错误率;汇总输入/输出 Token 与成本;用 event.outcome、error.type、finish_reasons 识别失败、超时或内容过滤;用 trace.id、span.id 与父子关系重建调用链,分析编排步骤分布与瓶颈;通过 SLOs API 与 Alerting API 查看相关告警与 SLO 状态。

使用方式:先用 GET _data_stream 或 GET traces*/_mapping、GET metrics*/_mapping 确认数据流与字段,再编写 ES|QL 查询。查询需限定 @timestamp 时间范围,必要时加 service.name;使用 LIMIT 与粗粒度时间桶避免全表扫描。ES|QL 在 Elasticsearch 8.11+ 可用(8.14 GA)及 Serverless。

限制:仅使用 Elastic 中已采集的数据,不依赖其他厂商 UI;每次回答假定单一采集路径并保持一致;字段名可能因采集方式不同(gen_ai.* 与 llm.* 或集成专有字段),须先确认;成本不在 OTel 规范内,可能由自定义属性提供;具体集成字段与数据流以各集成包为准。资料未提供收费、价格与平台细节。