SuperAPI AI 工具集

datasets

数据与分析

查看项目

更新于 10-16 06:22

技能介绍

用途:为 LangWatch 生成高质量合成评测数据集,目标是让数据看起来像该机器人真实生产流量,而非通用或教科书式问题。

主要能力:先做发现阶段,读取项目结构与应用代码、查看提示词(langwatch prompt list --format json)、检查 git 历史(git log --oneline -30)、搜索生产 trace(langwatch trace search --format json --limit 25,必要时 langwatch trace get <traceId> --format json)、查看已有数据集(langwatch dataset list --format json、langwatch dataset get <slug> --format json),并向用户索取 PDF、文档、已有数据集与已知失败模式。随后给出列设计、覆盖类别、行数与来源的计划,先预览 5-8 行,再生成完整 CSV。

使用方式:交互式推进,先发现再计划、预览、生成、上传。生成 CSV 建议用 Python 或 Node.js 脚本避免引号问题;上传命令为 langwatch dataset create "<dataset-name>" --columns "input:string,expected_output:string" --format json 与 langwatch dataset upload "<dataset-slug>" evaluation_dataset.csv,并用 langwatch dataset get <slug> --format json 验证。

适用场景:客服机器人、编码助手、RAG 知识库、多轮对话、护栏与对抗测试等评测数据构建。

限制:必须匹配该机器人系统提示的语气、长度与领域,禁止教科书式通用问题;行数建议 15-25 冒烟、50-100 标准、150-300 综合、30-50 回归;若 langwatch 缺失或上传失败,应说明上传未完成,不能把本地文件当作已上线。