SuperAPI AI 工具集

langfuse

通用与其它

查看项目

更新于 10-16 05:51

技能介绍

用途:该技能面向 LLM 可观测性与评估,帮助像监控传统软件一样监控 LLM 应用,但关注成本、质量、延迟等不同维度,并用数据驱动 Prompt 改进、发现回归。

主要能力:LLM 追踪与可观测性;Prompt 管理与版本控制;评估与打分;数据集管理;成本追踪;性能监控;Prompt A/B 测试。

使用方式:需要 Python 或 TypeScript/JavaScript、Langfuse 账号(云端或自托管)以及 LLM API key。基础用法是用公钥、私钥与 host(如 https://cloud.langfuse.com 或自托管地址)初始化 Langfuse 客户端,创建 trace,并记录 generation 的模型、参数、输入输出与 usage;随后可为 trace 打分,退出前调用 langfuse.flush()。使用 OpenAI 时可用 from langfuse.openai import openai 作为直接替换,自动追踪调用,支持流式与异步。使用 LangChain 时可创建 CallbackHandler 并传入 config={'callbacks': [langfuse_handler]},或设为默认 handler。

适用场景:任何 LLM 应用、基于 OpenAI 的应用、基于 LangChain 的应用,包括 agents、retrievers 等组件。

限制与反模式:自托管需要基础设施;高流量可能需要优化;实时仪表盘有延迟;评估需要额外配置。避免在 serverless 中不 flush(数据会因批处理丢失),避免追踪一切导致噪声与性能开销,避免不传 user_id 和 session_id 而难以调试与分析。

相关资料未提供具体收费、价格与平台细节。