SuperAPI AI 工具集

confident-tracing

智能体与模型

查看项目

更新于 10-20 04:56

技能介绍

Confident Trace 是一个用于给 AI 应用接入 confident-trace SDK 的技能,目的是让应用在 Confident AI 中按 span 展示执行过程。它面向 LLM 应用、智能体(agent)、RAG 流水线和聊天机器人,只对系统中的 AI 部分进行埋点,包括智能体循环与规划、LLM 调用、检索/向量搜索以及工具调用。不追踪 Web 服务器、CRUD 后端、数据库层或基础设施等非 AI 软件;如果目标没有 LLM、智能体、检索或工具调用组件,则该技能不适用。

主要能力:

  • 支持 Python 3.10+ 或 Node.js 22+,需安装 confident-trace。
  • 需要项目范围的 CONFIDENT_API_KEY 用于导出到 Confident AI。
  • 优先使用自动集成;存在支持的集成时,按集成文档接入。
  • 无合适集成或代码拥有有意义的外层边界时,使用自定义 span。
  • 为每个 span 设置有意义类型:llm、retriever、tool、agent 或 custom,并捕获有用的输入和输出。
  • 添加 trace 级标签、元数据、用户 ID、客户 ID、线程 ID、轮次 ID 和环境,帮助诊断失败模式。结构化的线程、用户和客户对象可携带名称、标签和元数据等额外属性。
  • 对于必须启动独立 trace 的对话轮次,使用 turn();线程 ID 关联轮次但不合并其 OpenTelemetry trace。

使用方式: 工作流大致如下:确认目标是 AI 应用,否则停止;检测语言、框架、模型提供商、智能体 SDK、网关、打包器和现有 OpenTelemetry 设置;阅读 references/integrations.md 和所检测到的确切仓库集成文档,优先自动埋点;若无集成匹配或代码拥有有意义的外层边界,阅读 references/tracing.md 后用自定义 span 埋点;为 span 设置类型并捕获输入输出;添加 trace 级上下文;不要追踪密钥、凭据或未经批准的敏感数据,必要时禁用包自带的内容捕获;在刷新或关闭前完成活跃工作和流,然后在 Confident AI 中验证 trace 层级。

核心原则:只埋点 AI 组件;优先使用支持的集成而非自定义埋点;写追踪代码前阅读确切的集成文档;在提供商或框架调用之前初始化一次;TypeScript 自动埋点需要 Node 预加载和 init() 两者;不要包装已被集成覆盖的调用。

适用场景:需要让 AI 应用执行过程在 Confident AI 中可见,且需要按 span 查看 LLM 调用、检索、工具调用、智能体行为时。

限制:技能范围止于生成结构良好的 trace;附加评估指标和运行评估不在范围内;原始 OpenTelemetry 导出属于 confident-otel 技能。