TruLens 是一个用于评估和追踪 LLM 应用与 AI 智能体的开源工具，原生支持 OpenTelemetry。其核心目标是让开发者从凭感觉判断转向基于指标决策，找出智能体在何处失败，以及在不牺牲质量的情况下可以在哪里降低成本。
主要能力
- 追踪与插桩：使用 OpenTelemetry 对 AI 智能体进行插桩，记录每一个 span，包括延迟、输入、输出、token 和成本，按步骤记录，使错误答案具有可追溯的原因。
- 评估与评分：使用经过基准测试的 LLM 评判器对每一步评分，评判器会解释评分依据，低分能直接指向具体出错环节。官方称其评判器在对照人工标注评分时表现优异，并可用私有数据、评分标准、示例和分数范围调整来适配特定领域。
- 版本对比：支持比较不同版本，帮助找到质量与成本的前沿，决定应发布哪个版本。
- 评估维度：包括是否选对工具并遵循计划、执行效率、答案是否有检索内容支撑、上下文相关性、答案相关性、MCP 服务器是否返回可用结果、MCP span 追踪、是否保留实质内容并去除噪声、全面性、逻辑一致性、检索与 RAG、排序（NDCG、MRR）、精确率/召回率等。
- 灵活集成：支持任意 Python 函数、任意 LLM-as-judge 提示词、任意 span 属性；可追踪已构建的应用，使用自选模型评判，并写入自运行的数据库，无需重写或锁定。
使用方式
- 可用纯 Python 对任意应用进行插桩，或对常用框架自动插桩。
- 支持实时运行或基于数据集运行：记录一次 trace 即开始评估；运行一次数据集则回放数据。两种方式使用相同指标，评估 span 会落入 trace、评分和排行榜视图中。
- 提供 LangChain、LangGraph、LlamaIndex 和自定义应用的快速入门。
适用场景
- 需要定位 AI 智能体失败原因、优化成本与质量平衡、对比不同版本效果的开发团队。
- 使用 RAG、检索、工具调用、MCP 服务器等复杂智能体架构的应用。
限制与说明
- 资料未提供具体收费、价格、平台支持范围或详细安装命令，这些信息暂未提供。
- 该项目最初由 TruEra 创建，现由 Snowflake 在开源社区中积极维护。
