SuperAPI AI 工具集

deepeval-tracing

智能体与模型

查看项目

更新于 10-15 20:27

技能介绍

用途:为 AI 应用接入 DeepEval 原生追踪,让执行过程在 Confident AI 的 Observatory 中逐 span 可见。适用于 LLM 应用、智能体、RAG 流水线与聊天机器人。

主要能力:优先选用已支持的框架集成;无可用集成时回退到手动 @observe 埋点;为每个 span 指定有意义类型(llm、retriever、tool、agent)并捕获输入输出;添加 trace 级标签与元数据以辅助诊断失败模式。

使用方式:确认目标是 AI 应用(含 LLM 调用、智能体循环、检索或工具调用),否则不适用;检测所用框架、模型提供方、智能体 SDK 与向量数据库;阅读 references/integrations.md 及对应集成文档,优先原生集成;无匹配集成时按 references/tracing.md 手动埋点;确认 deepeval login 或导出 CONFIDENT_API_KEY,再在 Confident AI Observatory 验证 trace 出现。

适用场景:仅埋点 AI 部分——智能体循环与规划、LLM 调用、检索/向量搜索、工具调用。不要追踪非 AI 软件(Web 服务器、CRUD 后端、基础设施)。

限制:本技能止于生成规范 trace;附加评估指标与运行评估属于 deepeval 技能;使用厂商中立的 OpenTelemetry SDK(含非 Python 应用)属于 deepeval-otel 技能。切勿追踪密钥、凭据、API key 或原始敏感用户数据。前置条件为 Python AI 应用并 pip install deepeval。