Langfuse 是开源 LLM 工程平台,为 AI 应用提供从开发到生产的完整可观测性。用途包括追踪 LLM 调用、评估输出质量、管理提示词、跟踪成本与延迟、运行实验和构建评估数据集。
主要能力:追踪方面支持装饰器式追踪(Python 的 @observe()),可将 RAG 管道作为单个 trace,子步骤记为 span;生成类调用可递归追踪 token 用量与成本,并附加 user_id、session_id、tags、metadata 等。提示词管理支持从 Langfuse 获取带版本的提示词并编译变量,提示词可在界面中编辑、版本化与 A/B 测试。评估方面支持对 trace 打分(如 relevance、hallucination),可使用 LLM-as-judge 自动评分,并可创建评估数据集与数据集条目。还支持会话追踪,将 trace 按会话分组。
使用方式:Python 安装 pip install langfuse,TypeScript 安装 npm install langfuse;自托管可执行 docker-compose up。TypeScript 可通过 langfuse-vercel 的 AISDKExporter 与 Vercel AI SDK 集成。
适用场景:需要可观测性与质量评估的 LLM 应用、RAG 管道、对话式 AI,以及需要提示词版本管理和回归测试的团队。
限制:资料未提供具体收费、价格、平台支持范围或效果数据;自托管与云版本功能对比除“相同功能、自有基础设施”外暂未提供更多细节。