SuperAPI AI 工具集

agent-observability

智能体与模型

查看项目

更新于 10-15 19:53

技能介绍

用途:为生产环境的 LLM 智能体提供可观测性,让失败可被观测而非靠猜测。生产智能体的失败模式与服务不同,例如工具调用错误、参数幻觉、失控循环、静默质量回退。该技能用于选择可观测性后端、在节点级别埋点、将评估附加到追踪上,并搭建回放。

适用时机:智能体在开发环境正常、生产环境无日志地出错;需要对比提示或模型变更与基线(评估嵌入追踪);token 或延迟成本上升但不知哪个节点导致;用户报告错误答案需要回放确切会话;存在多智能体或子智能体,需要单一追踪树而非交错日志。

平台选择:LangSmith 适合 LangChain/LangGraph 技术栈且希望托管;Langfuse 开源、需自托管、支持多框架;Arize Phoenix 是 OTel 原生,偏本地或自托管。默认建议:需要自托管选 Langfuse,已在 LangGraph 选 LangSmith,强制 OTel 选 Phoenix。

主要能力:节点级 span 埋点,示例使用 Langfuse 装饰器与 OpenAI 包装;必需 span 属性包括完整输入输出、模型、温度、max_tokens、工具名与参数、工具结果状态、输入输出 token 与成本、session_id、user_id、trace_id。评估嵌入追踪:将自动评分附加到每个 span,使回退与延迟在同一界面呈现,常见评分有正确性、工具调用有效性、有据性、有害性、延迟 SLA。回放模式:在节点入口出口记录完整状态,按 trace_id 获取追踪,重建状态并从任意节点重跑并对比输出。规模化采样:错误与人机协同路径 100% 追踪,正常路径 10% 采样,对超过 p95 延迟的 span 做尾部采样;始终记录工具失败、护栏拦截、预算上限触发。

限制:资料未提供具体收费、价格、平台效果或完整安装步骤等事实,暂未提供。