Langtrace 是一个开源的 LLM 应用可观测性软件,用于捕获、调试和分析来自使用 LLM API、向量数据库和 LLM 框架的应用程序的追踪和指标。
主要能力:
- 实时监控:追踪 LLM API 调用、向量操作和框架使用情况。
- 性能洞察:分析延迟、成本和用量模式。
- 调试工具:追踪和调试 LLM 应用工作流。
- 分析:提供详细指标和可视化。
- 自托管选项:可部署在自己的基础设施上。
- OpenTelemetry 支持:基于 OTEL 标准生成追踪,项目正在开发语义约定,相关定义在仓库中维护。
使用方式: 提供 TypeScript SDK 和 Python SDK。
- 云服务(Langtrace Cloud):注册后创建项目(项目用于存储应用生成的追踪和指标),在项目内生成 API key,然后在应用中安装并初始化 Langtrace SDK,使用该 API key 配置。
- 自托管:需要运行三个服务,包括 Postgres 数据库和 Clickhouse 数据库,应用默认可在 http://localhost:3000 访问。文档提供多种部署选项和配置,可修改 .env 文件。使用 -v 标志可删除容器和卷。自托管 OSS 客户端时,Langtrace 不收集任何遥测数据,数据不会离开服务器。
支持集成:自动捕获以下供应商和框架的追踪,包括向量数据库(具体列表未在资料中展开)。
系统架构:使用 NextJS 作为前端和 API;PostgresDB 作为元数据存储;Clickhouse DB 用于存储 spans、metrics、logs 和 traces。
限制与说明:
- 资料中关于集成的具体供应商和框架列表未完整提供。
- 自托管需要额外部署 Postgres 和 Clickhouse 数据库。
- 追踪语义约定仍在开发中。
- 定价:Langtrace cloud 当前不收费,主要用于收集反馈,未来若 monetize 会通知用户。
- 许可证:Langtrace 应用(本仓库)使用 AGPL 3.0 许可证,SDK 使用 Apache 2.0 许可证。
- 安全问题可发邮件至 security@scale3labs.com。