SuperAPI AI 工具集

langfuse

智能体与模型

查看项目

更新于 10-15 20:34

技能介绍

用途:本技能面向 LLM 可观测性与评估,帮助开发者以 trace、span、指标的方式监控 LLM 应用,关注成本、质量与延迟,并用数据驱动提示词改进和回归发现。

主要能力:LLM 追踪与可观测性;提示词管理与版本控制;评估与打分;数据集管理;成本追踪;性能监控;提示词 A/B 测试。

使用方式:需要 Python 或 TypeScript/JavaScript、Langfuse 账号(云端或自托管)以及 LLM API 密钥。基础追踪通过 Langfuse 客户端初始化,创建 trace 并记录 generation,最后调用 langfuse.flush()。OpenAI 集成可用 from langfuse.openai import openai 作为替代客户端,自动追踪调用,支持流式与异步。LangChain 集成使用 langfuse.callback 的 CallbackHandler,在 invoke 时通过 config 传入 callbacks,或设为默认处理器,适用于链、智能体、检索器等。

适用场景:任何 LLM 应用的监控与评估,尤其是基于 OpenAI 或 LangChain 构建的应用。

限制与反模式:自托管需要基础设施;高流量可能需要优化;实时仪表盘存在延迟;评估需要额外配置。无服务器环境务必在结束前 flush,否则批量数据可能丢失;避免追踪一切造成噪声与开销,应聚焦 LLM 调用、关键逻辑与用户操作;始终传递 user_id 与 session_id 以便调试与分析。

相关技能:可与 langgraph、crewai、structured-output、autonomous-agents 配合使用。