用途:通过 LangSmith REST API 对 LLM 应用进行可观测性、追踪、评估与数据集管理,适合排查失败运行、导出评估样本、管理反馈与标注队列。
认证:所有请求需在请求头传入 API 密钥 X-Api-Key: $LANGSMITH_TOKEN,环境变量为 LANGSMITH_TOKEN。基础地址 https://api.smith.langchain.com,官方文档 https://docs.smith.langchain.com/reference/api。
主要能力:
- 运行(追踪):GET /api/v1/runs 列出运行,支持 session_name、run_type(llm、chain、tool、retriever、embedding)、limit(默认 20,最大 100)、error、start_time 等参数;GET /api/v1/runs/<run-id> 获取单条;POST /api/v1/runs/query 做高级过滤。
- 项目(会话):GET /api/v1/sessions 列出,支持按 name 查询,POST 创建。
- 数据集:GET/POST /api/v1/datasets,GET/DELETE /api/v1/datasets/<dataset-id>;data_type 可选 kv(默认)或 llm。
- 示例:GET /api/v1/examples?dataset_id=...&limit=50,POST /api/v1/examples 创建,POST /api/v1/examples/bulk 批量创建(每批最多 100),DELETE 删除。
- 反馈:POST /api/v1/feedback 添加,score 为 0.0–1.0 浮点数,key 命名指标(如 correctness、helpfulness、relevance);GET /api/v1/feedback?run_id=... 列出。
- 标注队列:GET /api/v1/annotation-queues,POST /api/v1/annotation-queues/<queue-id>/runs 添加运行。
常见流程:排查失败运行可请求 runs 并设 error=true;构建评估集先创建数据集,再用 source_run_id 从运行输入输出生成示例。
限制与注意事项:项目名区分大小写;运行 ID 为 UUID,需从响应复制;反馈分数为 0.0–1.0 且 key 需一致以便聚合;存在按密钥的速率限制,遇 429 应实现指数退避;大批量示例应使用 bulk 端点。请求失败时可运行 zero doctor check-connector --env-name LANGSMITH_TOKEN 或 zero doctor check-connector --url https://api.smith.langchain.com/api/v1/runs --method GET 检查连接。收费、价格与平台支持等资料暂未提供。