langfuse-observability
Langfuse 是一个开源 LLM 可观测性平台,用于追踪、监控、评估和提示词管理。该技能介绍如何在 OrchestKit 项目中集成和使用 Langfuse,涵盖分布式追踪、成本追踪、提示词管理、LLM 评估、会话追踪、Experiments API 与多评委评估等核心能力。资料显示 Langfuse 为自托管、开源、免费,并内置提示词管理,区别于仅云端、专有且付费的 LangSmith。适用场景包括从头搭建 LLM 可观测性、调试缓慢或错误的 LLM 响应、跟踪 token 用量与成本、在生产中管理提示词、评估 LLM 输出质量,以及从 LangSmith 迁移到 Langfuse。OrchestKit 集成状态为已于 2025 年 12 月从 LangSmith 迁移,代码位置为 backend/app/shared/services/langfuse/,并提供可选 MCP Server orchestkit-langfuse。使用方式包括通过 Langfuse 客户端初始化、使用 @observe 装饰器自动追踪、设置 user_id 与 session_id、添加 metadata 与 tags 等。