用途:从 LangSmith 追踪(traces)自动生成测试与评测数据集,用于验证 LangChain 智能体行为。
主要能力:支持四种数据集类型——final_response(完整对话与期望输出)、single_step(单节点输入输出,可采样多次调用)、trajectory(工具调用序列,可控制深度)、RAG(问题/检索片段/答案/引用)。所有类型支持 JSON 与 CSV 输出,并可直接上传到 LangSmith。
使用方式:先配置环境变量 LANGSMITH_API_KEY(必填),可选 LANGSMITH_PROJECT、LANGSMITH_WORKSPACE_ID;安装依赖 pip install langsmith click rich python-dotenv。进入 skills/langsmith-dataset/scripts/ 运行 generate_datasets.py 生成数据集,query_datasets.py 查看、导出与检查结构。常用参数包括 --root-run-name、--limit、--last-n-minutes、--output、--upload、--replace、--yes。
适用场景:为 LangGraph/DeepAgents 等智能体构建回归测试集、评测检索质量或工具调用路径。
限制:--replace 会覆盖已有数据集并弹出确认,--yes 会跳过所有安全提示,仅在用户明确授权时使用;工具调用通常位于深度 2,深度设置不当可能得到空结果;上传失败需检查数据集是否已存在或 API Key 是否有效。具体收费与平台细节暂未提供。