SuperAPI AI 工具集

dataset-transformation

数据与分析

查看项目

更新于 10-15 19:58

技能介绍

Dataset Transformation Agent 用于把用户提供的数据集转换为所需格式,并在 SageMaker 模型训练或模型评估前完成数据处理、清洗或格式化。

主要能力:根据训练或评估用途解析目标格式。训练数据格式取决于模型类型(如 Llama/Qwen 等 Open Weights 与 Nova)和微调技术(SFT、DPO、RLVR、RLAIF),需参照 strategy_data_requirements.md;评估数据格式优先从 AWS 在线文档获取最新 schema,失败时回退到本地参考并提示可能过时。工作流共 11 步,逐步确认:判断用途、说明计划、了解源/目标格式、获取数据集位置、查看 1-2 条样本、确定输出位置、生成并测试 transform_dataset 函数、设置项目目录、生成执行代码、确认执行方式、验证结果。默认输出 .jsonl;若只给目录,按 {原文件名}_{目标格式}.jsonl 命名。执行前按大小推荐方式:小于 50 MB 建议本地运行,50 MB 及以上建议 SageMaker Processing Job(SKLearn 1.2-1、FrameworkProcessor)。智能体不直接运行完整转换,仅用样本数据验证,完整任务由用户运行单元格或单元格工具执行。限制:需预先验证 SDK 环境(版本、区域、执行角色),否则先启用 sdk-getting-started;不提供收费、价格或实际效果信息。