Langfuse 是一个开源的 LLM 工程平台，旨在帮助团队协作开发、监控、评估和调试 AI 应用。它可以快速自托管，并经过实战检验，基于 ClickHouse 开源数据库构建。
用途 Langfuse 主要面向 LLM 应用开发团队，用于追踪、评估和改进 LLM 应用。它帮助团队跟踪 LLM 调用以及应用中的其他相关逻辑，如检索、嵌入或智能体动作，并检查和调试复杂的日志与用户会话。
主要能力
- LLM 应用可观测性：通过埋点将追踪数据接入 Langfuse，跟踪 LLM 调用及检索、嵌入、智能体动作等逻辑，检查和调试复杂日志与用户会话。
- 提示词管理：集中管理、版本控制和协作迭代提示词。服务端和客户端有强缓存，迭代提示词不会给应用增加延迟。
- 评估：支持 LLM 作为裁判、代码评估器、用户反馈收集、人工标注，以及通过 API/SDK 自定义评估流程。
- 数据集：支持测试集和基准测试，用于评估 LLM 应用，支持持续改进、部署前测试、结构化实验、灵活评估，并可与 LangChain、LlamaIndex 等框架无缝集成。
- LLM Playground：测试和迭代提示词与模型配置，缩短反馈循环。在追踪中看到不好结果时，可直接跳转到 Playground 迭代。
- 全面的 API：通过 API 使用 Langfuse 的构建块来驱动定制 LLMOps 工作流。提供 OpenAPI 规范、Postman 集合以及 Python、JS/TS 的类型化 SDK。
使用方式 自托管方式：
- 本地（docker compose）：使用 Docker Compose 在本地机器上 5 分钟运行 Langfuse。 git clone --depth=1 https://github.com/langfuse/langfuse.git cd langfuse docker compose up
- 虚拟机：使用 Docker Compose 在单台虚拟机上运行。
- Kubernetes（Helm）：在 Kubernetes 集群上使用 Helm 运行，这是首选的生产部署方式。
- Terraform 模板：AWS、Azure、GCP。
快速开始：
- 创建新项目：创建 Langfuse 账号或自托管，创建新项目，在项目设置中创建 API 凭据。
- 记录第一次 LLM 调用：@observe() 装饰器可轻松追踪任意 Python LLM 应用。快速入门中也使用 Langfuse OpenAI 集成自动捕获所有模型参数。如果不使用 OpenAI，可查阅文档了解如何记录其他模型和框架。
- 在 Langfuse 中查看追踪：查看语言模型调用和其他应用逻辑。
适用场景 适用于需要监控、评估、调试和改进 LLM 应用的团队，尤其是使用 LangChain、LlamaIndex 等框架的开发者，以及需要自托管以满足数据控制需求的场景。
限制与注意事项
- 默认情况下，Langfuse 会自动向集中服务器（PostHog）报告自托管实例的基本使用统计。遥测不包含原始追踪、提示词、观测、评分或数据集内容。可通过设置 TELEMETRY_ENABLED=false 退出。
- 默认 docker-compose.yml 继承 Docker 守护进程的日志配置。Docker 默认 json-file 驱动不轮转日志，可能耗尽磁盘空间。需设置 max-size 和 max-file 选项，或保留所选日志后端并配置保留策略。不要用外部工具轮转或截断 Docker 管理的 JSON 日志文件。更改守护进程日志默认值后，需重启 Docker 并重新创建现有容器。
- 本仓库采用 MIT 许可证，但 ee 目录除外，详见 LICENSE 和文档。
- 代码库部署在基于 Linux Alpine 镜像的 Docker 容器中，Dockerfile 位于 web/Dockerfile 和 worker/Dockerfile。
