SuperAPI AI 工具集

mindspeed-fsdp2-data-migration

数据与分析

查看项目

更新于 10-15 19:57

技能介绍

用途:将源数据集逻辑迁移到 MindSpeed-MM FSDP2 数据插件结构中,保持预处理语义并确保 trainer/模型输入兼容。核心工作是在 mindspeed_mm/fsdp/data/ 下创建数据插件,实现 dataset_type 注册、getitem 返回模型前向所需字段、collate_fn 安全处理变长 batch,并在兼容时优先复用源预处理函数。

输入与输出:输入包括源数据集入口文件、目标 dataset_type、预期模型输入字段、数据与路径格式假设以及 runtime_assets.dataset_path;输出为数据插件实现、带通过/失败状态的数据迁移检查清单,以及每处非直接拷贝改动的适配理由。

必要用法与契约:注册使用 @data_register.register("<dataset_type>");实施前须校验 runtime_assets.dataset_path 存在且可读,并抽样读取前 N 条样本确认 schema 字段存在;实施后须产出 dataset_schema_report.md 与 fields_contract_report.md。getitem 字段不全或 collate 崩溃时停止,禁止进入配置或验证阶段。

适用场景:需要复用源预处理函数或做最小化适配、需要实现注册与 collate 行为、需要保证输入字段兼容时。不适用:模型加载或模型注册、仅做配置映射且不改变数据行为、最终验证门禁执行。

限制与禁止行为:不得把路径类型假设为仅 str;不得静默吞掉 schema 错误;不得删除 pixel_values、image_flags 等模态关键字段而不声明;不得以样例数据通过替代真实路径抽样验证。退出标准为数据集可通过 build_mm_dataset 构建、字段与 collate 输出符合模型预期、数据侧清单结论有证据支撑。详细判据见 checks/data-acceptance.md、checks/data-contract-gates.md、errors/data-error-dictionary.md、errors/triage-severity.md、examples/minimal-io.md。具体支持版本与运行环境暂未提供。