SuperAPI AI 工具集

light-data-engineering

数据与分析

查看项目

更新于 10-16 06:23

技能介绍

用途:作为 Light 科研流水线的 DAG 第 2 节点,在提出 idea 之前回答两个硬问题——数据是否够支撑研究(规模/质量/统计功效),以及划分中是否存在数据泄漏。数据可行性不足与数据泄漏均为 critical 一票否决,被 run_checkpoint --stage 2 聚合后 exit 1。

主要能力:①数据候选下载前 intake(dataset_intake.py),核 access/license/revision/last_modified/size/split/file tree/card,记录 raw_response_sha256 与 candidate_manifest_sha256;②数据身份/权限/血缘/威胁矩阵统一契约(data_identity_fitness.py);③数据可行性前置门(data_feasibility_gate.py)编排 sample_size_check 经验粗筛与四问,insufficient 判 critical 并建议 2⊣3 回边;④数据泄漏审计(split_leakage.py)查跨 split 精确重复、分箱指纹近重复、实体重叠、目标均值编码穿越,HIGH 为 critical;⑤防泄漏划分(safe_split.py)用 Pipeline+ColumnTransformer 保证预处理折内 refit,按 task 选 StratifiedKFold/TimeSeriesSplit/GroupKFold;⑥其余脚本包括 data_doctor、quality_gate、sample_size_check、data_feasibility、drift_check、check_access_level、croissant_export、derive_eval_set。

使用方式:13 个脚本在 scripts/ 下,各 --selftest/--help 即接口;Windows 先 set PYTHONUTF8=1。关键命令示例如 python scripts/data_feasibility_gate.py --spec feasibility_spec.json --report feas_findings.json,以及 split_leakage.py 产 leak_findings.json,再交 run_checkpoint --stage 2 聚合。

适用场景:用户要找/选/下载公开数据集,或给出数据询问能否做研究、够不够、质量行不行、怎么划分、会不会泄漏;也用于 idea 立项卡的数据可行性前置守门。

限制:自动发现目前只接 Hugging Face 公共元数据;泄漏检测为启发式,存在边界;sample_size_check 是经验阈值粗筛,非正式功效分析;可行性档位非自动真值(GIGO);不内置 cleanlab,不做完整 EDA;隐私与许可合规不替判;完整 Croissant 校验与 Hub 上传留外部工具;OpenML/UCI/Zenodo/Kaggle 走资源地图与联网。数据不足的 idea 须停下问用户是否回炉,不自作主张放行或回炉。