SuperAPI AI 工具集

dt-obs-genai

智能体与模型

查看项目

更新于 10-15 21:36

技能介绍

用途:面向客户 GenAI 应用的 AI 可观测性分析,基于 OpenTelemetry GenAI span(gen_ai.*)与 LLM 评估 bizevent,用 DQL 查询回答延迟、错误率、token 用量、成本、智能体行为、会话、护栏与评估质量等问题。不适用于 Davis CoPilot/MCP 遥测、通用服务指标、日志或非 GenAI 分布式追踪。

主要能力:黄金信号(流量、错误、延迟、饱和度,饱和度以每分钟 token 吞吐代理);LLM 信号(模型/提供商、操作类型、token 分布);成本与 token(按模型与提供商汇总 token,无存储成本字段,需用户提供单价估算);智能体信号(工具调用、失败智能体、步骤延迟、循环/失控检测,Smartscape 拓扑为特性开关预览);会话分析(需传播 gen_ai.conversation.id);护栏(finish_reasons 中的 content_filter 与 length);评估质量(bizevent,含分数、解释与问答对)。

使用方式:以 DQL 查询 spans 或 bizevents,默认时间窗为最近 24 小时,默认不限模型与提供商。示例:fetch spans, from: now()-24h | filter isNotNull(gen_ai.request.model) | summarize total = count(), errors = countIf(span.status_code == "error"), by: {gen_ai.request.model}。延迟为 duration 值,需除以 1ms 转为毫秒。

限制:成本单价必须由用户提供,不得凭记忆填写;查询无结果时先运行存在性检查,确认是否已接入 GenAI 遥测,而非直接报告无数据;部分信号族(token、智能体、工具、会话、finish_reason、缓存 token、评估)可能因提供商/SDK 属性名不同而缺失,需先核实;产品配置类问题不属于本技能范围。