SuperAPI AI 工具集

langsmith-dataset

数据与分析

查看项目

更新于 10-15 23:48

技能介绍

用途:用于创建评估数据集、把数据集上传到 LangSmith,以及管理已有数据集。适合需要基于追踪数据构建评测集的场景。

主要能力:涵盖四类常见评估数据集——final_response(完整对话与期望输出,测整体智能体行为)、single_step(单节点输入输出,测特定节点)、trajectory(工具调用顺序,测执行路径)、rag(问题/片段/答案/引用,测检索质量)。数据集为 JSON 文件,由示例数组构成,每个示例含 inputs 与 outputs。

使用方式:认证必需,设置 LANGSMITH_API_KEY,或在 CLI 命令传 --api-key(推荐)。可设置 LANGSMITH_PROJECT 以确定包含相关追踪的项目;LANGSMITH_WORKSPACE_ID 可选,用于组织级密钥。依赖安装:pip install langsmith、npm install langsmith;CLI 安装命令为 curl -sSL https://raw.githubusercontent.com/langchain-ai/langsmith-cli/main/scripts/install.sh | sh。常用命令包括 langsmith dataset list、get、create、delete、export、upload,以及 example 与 experiment 子命令,如 langsmith dataset upload <file> --name <name>、langsmith example list --dataset <name>。也可直接用 SDK:client.create_dataset 与 client.create_examples。

典型流程:先用 langsmith trace export 导出追踪,经代码处理成数据集格式,再上传并验证,最后运行实验。

限制与注意:破坏性操作(删除、覆盖)会弹出确认提示;有用户交互时必须等待输入,除非用户明确要求,否则不要用 --yes;非交互运行时才用 --yes。常见问题排查:上传后数据集为空需检查 JSON 是否为含 inputs 的对象数组;导出无数据需确认导出时用了 --full 且追踪含 inputs/outputs;示例数不符可用 dataset get 核对远端数量。官方未提供的细节暂未给出。