SuperAPI AI 工具集

data-auditor-cleaner

数据与分析

查看项目

更新于 10-16 02:32

技能介绍

用途:为数学建模任务创建可追溯的清洗后数据,并生成一份可复用的数据画像,避免对每个候选方法重复进行相同的数据检查。

前置条件:已存在问题解析和子问题编号;原始文件位于 workspace/data_raw/ 或工作区已记录的旧版原始数据路径;必需输出和已知字段需求可用。若附件、单位、字段含义或标签缺失,应停止而非编造。

工作流:先在清洗前映射附件,列出名称、大小、工作表、表头和小预览,并映射到 Qx 或标记为共享;仅当两种映射都合理时才询问用户。将原始文件视为只读,记录哈希或稳定元数据,清洗副本写入 workspace/data_clean/。审计结构与语义,包括行列、键、类型、单位、类别、时间粒度和编码,以及缺失值、重复、不可能值、异常值、不连续和泄漏风险,并建立字段到子问题及所需输出的映射。计算可复用风险画像统计:有效样本量与各 Qx 可用行数、字段与行缺失率、数值分布摘要与极端值率、类别计数、不平衡比、稀有水平和基数、时间覆盖与缺口、采样间隔及时间拆分约束、相关性/冗余警告,以及存在目标时的目标或得分集中度指标。记录事实,不将其转化为最终方法结论。

清洗计划:区分表示层面的安全规范化与带假设的填补或删除,解释并记录每个带假设操作,仅在变换不简单时保留可复现代码。按子问题评估就绪度:ready、ready_with_warnings 或 blocked,并精确列出缺失字段和风险,将画像交给 method-selector 做方法特定风险探查。

规范输出:workspace/data/data_report.md、workspace/data/data_profile.json、workspace/data_clean/<cleaned files>,必要时 workspace/code/scripts/<cleaning script>。迁移期间可接受旧路径 workspace/data/data_clean/。

data_profile.json 契约包含 schema_version、raw_files、attachment_mapping、fields、quality(missingness、duplicates、impossible_values、outliers)、coverage(rows、effective_sample_size、time_range、time_gaps)、distribution_risks(class_imbalance、rare_categories、high_cardinality、redundancy_warnings、concentration_metrics)、per_question_readiness、cleaned_files、unresolved_risks。字段不适用时用 null 并说明,不要编造值填充结构。

规则:不选择模型;不覆盖原始数据;不静默删除、填补、缩尾、缩放或重编码;不产出装饰性 EDA;下游复用同一画像而非重新生成统计;仅在发生变更时存储行级变更日志,成功的无操作检查只需汇总计数。验证要点:附件映射明确或经人工确认;原始文件未被改动;清洗文件可追溯到原始来源与转换规则;画像在适用时包含有效样本量、不平衡/基数和集中度证据;按子问题报告就绪度;下游交接指向路径而非粘贴完整报告。