该技能用于在 LangSmith 中创建评测数据集、上传本地数据集以及管理已有数据集,适合为智能体或 RAG 流程准备评测样本。
身份认证为必需:设置环境变量 LANGSMITH_API_KEY,或向 CLI 命令传入 --api-key(推荐)。查询前应先检查环境变量或 .env 中的 LANGSMITH_PROJECT,以确定相关 trace 所在项目;LANGSMITH_WORKSPACE_ID 为可选。
依赖安装:Python 用 pip install langsmith;JavaScript 用 npm install langsmith;CLI 用 curl -sSL https://raw.githubusercontent.com/langchain-ai/langsmith-cli/main/scripts/install.sh | sh。
主要能力(CLI):langsmith dataset list/get/create/delete/export/upload 完成数据集增删查改与导入导出;langsmith example list/create/delete 管理样本;langsmith experiment list/get 查看实验。常用标志有 --limit N 与 --yes。破坏性操作会弹出确认,交互场景必须等待用户输入,非交互场景才可用 --yes。
数据集为含 examples 数组的 JSON 文件,每个样本有 inputs 与 outputs。常见类型:final_response(完整对话与期望输出)、single_step(单节点输入输出)、trajectory(工具调用顺序)、rag(问题/分块/答案/引用)。可由导出的 trace 经代码加工成数据集,再上传:langsmith dataset upload /tmp/dataset.json --name "My Evaluation Dataset" --api-key $LANGSMITH_API_KEY。也可用 SDK 直接创建数据集与样本(Python/JS)。
限制与排查:CLI 反馈功能需 langsmith CLI v0.2.58 或更高版本,可通过 langsmith --version 检查,反馈不得包含密钥或用户数据,自托管环境跳过。上传后数据集为空时,确认 JSON 是含 inputs 的对象数组且文件非空;导出无数据时,确认导出使用了 --full 且 trace 有 inputs/outputs;样本数不符时对比远端与本地。其余未在资料中说明的能力暂未提供。