SuperAPI AI 工具集

datarobot-data-preparation

数据与分析

查看项目

更新于 10-15 23:46

技能介绍

该技能用于在 DataRobot 中准备和管理数据,包括上传数据集、验证数据质量和管理数据集版本。

用途:需要向 DataRobot 上传数据集、在创建项目前验证数据、管理数据集版本与更新、检查数据质量与完整性、为训练或预测准备数据、处理数据格式转换、连接外部数据源时使用。

主要能力:1)数据集上传,支持 CSV、Parquet 等格式,可连接数据库与数据仓库,处理大数据集并管理元数据与描述;2)数据验证,检查格式与结构、缺失值与数据质量问题、列类型与格式,识别潜在问题;3)数据集管理,列示与搜索数据集、更新元数据、创建版本、删除或归档旧数据集;4)数据准备,清洗与预处理、处理缺失值、按 DataRobot 要求格式化数据、准备预测数据集。

使用方式:该技能指导直接使用 DataRobot Python SDK,必要时安装:pip install datarobot。常用方法包括 dr.Dataset.create_from_file(file_path, name)、dr.Dataset.get(dataset_id)、dr.Dataset.list(),以及 dataset.row_count、dataset.column_count、dataset.name、dataset.id、dataset.created_at。客户端通过 dr.Client(token=..., endpoint=...) 初始化。技能还包含可直接运行的辅助脚本 scripts/upload_dataset.py,例如:python scripts/upload_dataset.py sales_data.csv "Sales Data Q4 2024"。

适用场景与限制:适合建模前的数据上传与质量检查工作流,例如上传并验证销售数据、依据训练数据结构准备预测数据集。数据格式要求方面,CSV 建议使用 UTF-8 编码、首行为表头、分隔符一致;Parquet 为列式格式,适合大数据集并保留数据类型;数据库连接需要凭据。常见错误包括上传失败、验证错误、结构不匹配和权限问题。其余未在资料中说明的内容暂未提供。