用途:检测 LLM 智能体在无明显报错情况下出现的静默失败,即表面正常但结果错误。主要能力包括:工具漏调检测(对比预期与实际工具调用);胡言乱语/质量检测(先用长度与重复度启发式,再用 LLM-as-judge 打分);循环检测(迭代次数上限与 token 消耗尖峰);基于统计基线的异常检测(Z-score 阈值)。
主要能力与实现要点:工具漏调通过从追踪中提取 tool 类型 span 并与预期工具集合求差;质量检测先做启发式过滤,再由模型打分并记录分数;循环检测设置最大迭代次数(默认 10)与 token 尖峰倍数(默认 3 倍基线);异常检测在窗口历史内计算均值与标准差,Z-score 超过 3.0 时告警。检测优先级建议为工具漏调、胡言乱语、循环、异常,告警应覆盖非报错型失败。
使用方式:面向 Langfuse 追踪的场景给出了 fetch_trace、observe 装饰器与打分接口的示例;可配置各检测器的阈值参数,并按检查清单落地。
适用场景:生产环境中监控智能体行为一致性、输出质量门禁、防止失控循环与成本飙升、服务未报错但逻辑损坏时的早期预警。
限制:资料未提供具体安装命令、收费与价格、平台支持范围或实际效果数据;阈值与优先级为建议值,需按实际业务调整。