SuperAPI AI 工具集

langsmith-trace

数据与分析

查看项目

更新于 10-15 23:48

技能介绍

用途:为应用接入 LangSmith 追踪,并查询、导出 trace 数据,便于分析 LLM 调用链路、延迟、token、成本与错误。

接入方式:LangChain/LangGraph 应用追踪自动生效,设置 LANGSMITH_TRACING=true、LANGSMITH_API_KEY,以及 LLM 供应商密钥即可;可选 LANGSMITH_PROJECT 指定项目。非 LangChain 应用若框架有原生 OpenTelemetry 支持,可用 LangSmith 的 OpenTelemetry 集成;否则用 traceable 装饰器/包装器并包装 LLM 客户端,如 client = wrap_openai(OpenAI()),TypeScript 使用 traceable() 与 wrapOpenAI()。对嵌套函数应用 traceable 可让其在 LangSmith 中可见,建议为 trace 命名并添加 metadata 便于检索。

查询方式:提供 Python 与 TypeScript 脚本,用法一致,选择与项目匹配的脚本。区分 trace 与 run:trace 是完整执行树(根 run 加所有子 run),run 是树中单个节点;一般优先查询 traces 以保留层级,用于轨迹分析与数据集生成。命令组为 traces 与 runs,traces 的过滤仅作用于根 run,返回完整层级,导出为每 trace 一个文件;runs 可过滤任意匹配 run,返回扁平列表,导出单个 JSONL 文件。常用命令如 python query_traces.py traces list --limit 10 --include-metadata、python query_traces.py traces get <trace-id>、python query_traces.py traces export ./traces --limit 20 --full。

限制:需 API Key,部分环境变量可选,若缺失则使用默认项目;导出需 --include-io 或 --full 才包含输入输出;资料未提供更多收费、配额或平台细节。