用途:在提 idea 前先判断现有数据是否足以支撑研究,并完成清洗、缺失与异常处理、特征工程、数据增强、数据集划分、质量评估及自建数据集规划。
主要能力:数据先行四问(是否够用、质量是否可靠、规模是否足够、特征是否有挖掘价值);数据体检用 pandas、Polars、DuckDB、Dask,质量画像用 ydata-profiling、Deepchecks、Great Expectations、Frictionless;EDA 七步与统计检验(t 检验、Welch、Mann-Whitney U、ANOVA、卡方等,报效应量与置信区间,多检验用 FDR/Bonferroni 校正);处理流程含去重、类型修正、缺失机制处理、异常检测、编码缩放、特征选择、按模态增强(albumentations、nlpaug、tsaug、SMOTE);划分用 train_test_split 分层与 TimeSeriesSplit、GroupKFold 等,防泄漏铁律要求预处理只进 Pipeline 且在训练折 fit;自建数据集含采集、标注规范、格式、datasheet、隐私合规与发布;质量评估含 cleanlab 与 IAA 互补,漂移监控用 Evidently。
使用方式:随技能脚本直接运行,均带 --selftest:python scripts/data_doctor.py --csv data.csv --target y --out report.md;python scripts/safe_split.py --csv data.csv --target y --task group --group-col user_id;python scripts/quality_gate.py --csv data.csv --rules rules.yaml --out gate.md;python scripts/check_access_level.py --level raw --sink paper。统计检验与一致性复用 code_assets 下 stats_tests.py、agreement.py。
限制:端点、API、参数与已知坑见 references.md;GX、Evidently 等 API 版本差异大需认版本;Vaex 已停维护勿新用;LLM 预标注不可当真值须人工审核;检出漂移不等于有害。
产出:quality_report.md、可复现流水线、划分方案、data_card.md。
衔接:结论喂 m03/m04,流水线交 a03,数据集登记 db04/db09,隐私许可上报 a10。