SuperAPI AI 工具集

eval-trace-rca

智能体与模型

查看项目

更新于 10-15 20:33

技能介绍

用途:对生产 LLM 追踪执行结构化根因分析,回答“应用为什么失败”。支持两种模式:Eval Signal 使用 LLM 评审的判定与理由(通过/失败率、评分);Error Signal 使用追踪中的运行时错误(@status:error、错误类型、堆栈)。若无法从上下文判断模式,会先问一个澄清问题。

主要能力:按“上下文→观察→开放编码→轴心编码→根因分析→建议”的方法论推进。工具包括 list_llmobs_evals、get_llmobs_eval_aggregate_stats、get_llmobs_eval_config、search_llmobs_spans、get_llmobs_span_details、get_llmobs_span_content、get_llmobs_trace、find_llmobs_error_spans、expand_llmobs_spans、get_llmobs_agent_loop。get_llmobs_span_content 支持 path 参数(如 $.messages[0] 取系统提示、$.messages[-1] 取最后回复)。

使用方式:输入 ml_app 或 eval_name(至少一个),timeframe 默认 now-24h。示例:“What's wrong with <ml_app> based on its evals over the last <timeframe>”“Analyze eval failures for <eval_name> over the last <timeframe>”“Look at the errors on <ml_app> over the last <timeframe>”。查询 eval 存在性用 @evaluations.custom.<eval_name>:*,不能直接查具体结果;通过/失败需从 get_llmobs_span_details 读取判定。

适用场景:已配置评估器、想弄清评估为何失败;或未配置评估器、想分析崩溃/异常/工具失败。

限制:仅能查询评估是否存在,不能按结果过滤;OOTB 评估的提示不可查看;无评估标准时阈值需推断;样本不足时置信度低。资料未提供安装命令、收费与平台信息。