SuperAPI AI 工具集

data-designer

数据与分析

查看项目

更新于 10-16 07:24

技能介绍

用途:当用户想创建数据集、生成合成数据或搭建数据生成流水线时使用。该技能基于 Data Designer 库,根据用户给出的数据集描述,指导生成对应的 Python 配置脚本。

主要能力:通过 DataDesignerConfigBuilder 定义输出列与处理步骤;支持采样器列(如 category,需同时提供 type 与 params)与校验列;prompt、system_prompt、expr 字段支持 Jinja2 模板,用 {{ column_name }} 引用列、{{ column_name.field }} 引用嵌套字段;可接入 LLM judge,其结果为嵌套字典,取数值分数用 {{ quality.correctness.score }};可定义 Pydantic 模型约束输出结构;可用 @dd.custom_column_generator 编写自定义生成器;默认保留所有列,仅在用户明确要求或该列为派生辅助列时丢弃;不主动建议或询问种子数据集,仅当用户明确提供种子数据或要求基于已有记录构建时,读取 references/seed-datasets.md 并使用种子;涉及人名、人口统计、地址时读取 references/person-sampling.md。

使用方式:技能会先判断模式。若用户表示“你来决定”“做合理假设”“直接建”等,使用 Autopilot 模式;否则默认 Interactive 模式,然后只读取对应工作流文件(workflows/interactive.md 或 workflows/autopilot.md)并遵循。若已存在与描述匹配的数据集脚本,会先询问是编辑还是新建。最终在当前目录写出 Python 文件,包含返回 DataDesignerConfigBuilder 的 load_config_builder() 函数,文件名具描述性,并用 PEP 723 内联元数据声明依赖,如 data-designer 始终必需,pydantic 仅在实际导入时添加。脚本中仅在需要时包含 Pydantic 模型、自定义生成器、种子数据集和额外依赖。

限制与排障:data-designer CLI 未找到时,说明该环境未安装(需 Python >= 3.10),询问用户是否创建虚拟环境并安装,未经许可不安装任何内容。预览时若出现网络错误,可能是沙箱阻止出站请求,先询问是否禁用沙箱重试,仍失败再让用户自行运行命令。Sampler 与校验列需同时提供 type 和 params;SamplerColumnConfig 使用 params 而非 sampler_params。