langsmith-dataset 是一个面向 LangSmith 评估数据集管理的技能说明,来源为 langchain-ai/design-agent。它把创建评估数据集、把数据集上传到 LangSmith、管理已有数据集等操作集中说明,并给出 CLI 命令与 SDK 代码示例。
用途与数据集类型:该技能覆盖常见评估数据集类型,包括 final_response(完整对话与期望输出,测试智能体整体行为)、single_step(单节点输入输出,测试某个节点行为)、trajectory(工具调用序列,测试执行路径)和 rag(问题、分块、答案与引用,测试检索质量)。
使用方式与认证:操作 LangSmith 需要认证。可以设置 LANGSMITH_API_KEY 环境变量,或在 CLI 命令中传入 --api-key 参数(资料称后者为首选)。资料还建议在查询或操作 LangSmith 前确认 LANGSMITH_PROJECT,以明确哪个项目包含相关 trace;LANGSMITH_WORKSPACE_ID 为可选配置。依赖安装方面,Python 使用 pip install langsmith,JavaScript 使用 npm install langsmith;CLI 通过官方安装脚本安装。
主要能力:CLI 支持列出、查看、创建、删除、导出和上传数据集,也可列出和创建示例、列出与查看实验,并提供 --limit、--yes 等通用参数。SDK 可直接创建数据集并批量添加示例,示例以包含 inputs 与 outputs 的对象数组传入。资料还给出从导出的 trace 生成数据集的工作流:先用 langsmith trace export 导出 JSONL,再用 Python 或 TypeScript 代码提取根运行的 inputs/outputs 组装成 JSON,最后用 langsmith dataset upload 上传并验证。
适用场景与限制:适合为智能体、单步调用、工具轨迹和 RAG 流程准备评估数据,把线上或调试 trace 转成可回归的测试集,并在 LangSmith 中管理实验。删除、覆盖等破坏性操作会弹出确认;在交互式运行时,资料要求等待用户输入,非交互式运行才使用 --yes。资料还包含 CLI 反馈机制说明,要求 CLI 版本不低于 0.2.58,且反馈不得包含密钥、客户数据、数据集内容、trace 负载、提示词、命令输出、路径或资源标识等敏感信息。资料未提供价格、配额和平台支持范围等信息。