SuperAPI AI 工具集

llm-obs-trace-rca

智能体与模型

查看项目

更新于 10-15 20:33

技能介绍

用途:对生产环境中的 LLM 追踪做根因分析,回答“某应用在指定时间窗内出了什么问题”“为何今天失败”“某评估器低分原因”等。

主要能力:自动推断分析模式——评估信号(LLM 评审判定与理由)、错误信号(@status:error、错误类型、堆栈)、通用模式(延迟、智能体循环、检索缺失等结构异常)。方法链路为解析→搜索→观察→开放编码→轴心编码→根因导航→建议。工具覆盖评估发现与聚合统计、span 搜索与详情/内容读取、完整 trace 层级、错误 span 查找、智能体循环时间线等。

使用方式:需提供 ml_app 或 eval_name,timeframe 默认 now-24h,可选 mode(eval/errors/generic)与 failure_filter。后端二选一:Datadog MCP 工具,或 pup CLI(pup llm-obs <subcommand>,输出 JSON)。两者都不可用时提示连接 MCP 或安装 pup。搜索时须在查询串中包含 @ml_app:"<ml_app>"。

适用场景:已接入 LLM 可观测性、需要从评估失败或运行时错误定位根因的团队。

限制:依赖 Datadog LLM Obs 数据与上述后端之一;部分评估配置不可查看;智能体循环接口可能返回空;资料未提供具体收费、价格与效果数据。