用途:该技能用于检查数据集结构,判断其是否符合 Amazon SageMaker 模型微调(SFT、DPO、RLVR)或模型评估的格式要求。适用于用户询问“我的数据集可以吗”“评估我的数据”等场景。
主要能力:定位数据集(本地路径或 S3 URI),确认读取权限并处理文件缺失或类型错误;确定微调模型与策略;按模型族运行相应校验;汇总结果并告知数据是否可用于预期用途。训练数据集需匹配对应微调策略格式,评估数据集需匹配 SageMaker 评估数据集格式之一;Custom Scorer 评估数据集(Prime Math、Prime Code、Custom Lambda)有专属 schema 要求。
使用方式:先确认 SDK 环境(版本、区域、执行角色),否则先启用 sdk-getting-started 技能。若上下文未提供模型与策略,需先通过 model-selection 和 finetuning-technique 技能确定;但校验评估数据集时无需模型与策略。随后运行格式检测脚本,将完整路径作为参数传入,不传模型和策略,不从 S3 下载数据,也不做本地副本: python scripts/format_detector.py local_path/to/dataset
适用场景:微调前数据质量检查、评估数据集格式验证、判断数据是否需转换。若数据格式不符,建议使用 dataset-transformation 技能转换,并等待用户确认。若计划用于微调,数据需上传至与训练任务同区域的 S3 桶,否则应提醒用户。
限制:仅适用于按 Amazon SageMaker AI 开发者指南格式化的文件;不负责下载或复制数据;模型与策略需由其他技能或上下文提供;具体支持的文件类型与各策略格式要求以 references/strategy_data_requirements.md 为准,资料未提供完整清单。