SuperAPI AI 工具集

langsmith

编程与开发

查看项目

更新于 10-16 05:07

技能介绍

用途:为 LangSmith Python SDK 提供专家级协助,覆盖 LLM 应用的可观测性、评估与数据集管理。

主要能力:

  • 追踪:用 @traceable 装饰器为函数、LLM 调用或工具执行埋点;用 trace 上下文管理器或 tracing_context() 做细粒度手动追踪;用 get_current_run_tree()、set_run_metadata()、set_tracing_parent() 操作当前运行;用 as_runnable()、ensure_traceable() 与 LangChain 集成。
  • 评估:client.evaluate() 在数据集上运行实验,aevaluate() 为异步版本;evaluate_existing() 为已捕获实验打分;evaluate_comparative() 或传入两个实验 ID 的元组做 A/B 对比;@run_evaluator 编写自定义逐样本评估器,summary_evaluators 做数据集级评分。
  • 数据集与运行:Client 可创建数据集、添加样本、查询运行、读取运行、生成分享链接。
  • 其他:Attachment 为追踪附加图片、音频或二进制文件;TracingMiddleware 追踪 FastAPI/Starlette/Django 等 ASGI/WSGI 应用;LangSmithPlugin 提供 pytest 测试级追踪;PromptCache/AsyncPromptCache 做提示缓存;可捕获 LangSmithAPIError、LangSmithRateLimitError 等错误类型。

使用方式:安装 pip install langsmith;设置 export LANGSMITH_API_KEY="ls__..." 与 export LANGSMITH_TRACING=true。pytest 集成需 pip install langsmith[pytest],运行 pytest --langsmith 或设置 LANGSMITH_TEST_TRACKING=true。完整 API 参考见 references/api.md(约 500 KB)。

适用场景:为智能体步骤、LLM 调用与工具执行添加追踪;在数据集上运行评估与 A/B 对比;编写自定义评估器;管理数据集;为 Web 应用与测试添加追踪。

限制:资料未提供收费、价格、平台支持范围与性能数据;具体行为以官方文档与 SDK 实际版本为准。