SuperAPI AI 工具集

deepeval-otel

通用与其它

查看项目

更新于 10-15 20:27

技能介绍

用途:把 AI 应用的原始 OpenTelemetry 追踪(traces/spans)导出到 Confident AI 的 Observatory,用于评估与监控 AI 行为。适用于 LLM 应用、智能体、RAG 流水线和聊天机器人;不适用于无 LLM、智能体、检索或工具调用的系统,也不应把 confident.* 属性加到非 AI 软件或非 AI span 上。

主要能力:使用任意支持 OTLP 的 OpenTelemetry SDK(无需 deepeval 包),将 span 导出器指向 Confident AI 的 OTLP/HTTP 端点并携带 x-confident-api-key 头;通过 span 上的 confident.* 属性构建追踪与 span 结构,父子嵌套由原生 OpenTelemetry span 上下文决定。支持 agent、llm、retriever、tool 等 span 类型,以及 trace 级 confident.trace.* 字段。

使用方式:先确认目标是 AI 应用,并检查是否已有 OpenTelemetry 配置,优先复用而非新建并行管道。根据 API key 的区域前缀选择端点(见 references/endpoint-and-exporter.md)。用 OTLP/HTTP 配置导出器,Python 可从 templates/confident_otel_setup.py 起步。若进程还有其他 OpenTelemetry 插桩或 APM 代理,需隔离 Confident AI 管道,只导出 AI span。设置 confident.span.* 与 confident.trace.* 属性,遵守 OTLP 数据类型规则:字典/元数据需 JSON 编码,字符串列表用原生数组。若已有 gen_ai.* 语义约定,先读 references/gen-ai-fallbacks.md。最后在 Observatory 中验证追踪是否出现。

限制:Confident AI 端点仅接受 HTTP,不支持 gRPC;需要 Confident AI 账户与 CONFIDENT_API_KEY;属性值必须是原始类型或同质原始列表;不得在 span 属性中放入密钥、凭据或敏感数据。与 deepeval 技能互补:后者用于 pytest 评估套件、数据集、指标和 @observe 装饰器。