SuperAPI AI 工具集

exploratory-data-analysis

数据与分析

查看项目

更新于 10-15 23:43

技能介绍

用途:在建模或确证性推断前,对授权的本地数据做有界、确定性的探索性分析(EDA),输出聚合报告,不对文件做认证,也不推断科学意义。

主要能力:CSV/TSV 提供有界 UTF-8 矩形结构剖析、缺失/分组/切分审计及分布、异常值、变换敏感性分析;JSON 检查严格整文档结构;可选检查 .npy/.npz(只读 mmap,无 object dtype/pickle)、HDF5(仅层级与数据集元数据)、FASTA/FASTQ(流式前缀,聚合长度/碱基/GC,FASTQ 含 Phred+33 聚合筛查)、PNG/JPEG(仅容器元数据)、TIFF/OME-TIFF(仅页/系列/形状/轴/dtype 元数据)。PDB、SAM/BAM/VCF、DICOM、Parquet、Excel、Zarr 等为仅参考类,需改用经校验的领域工具或转换副本。

使用方式:在专用环境按需安装:uv pip install "numpy==2.5.3" "h5py==3.16.0" "biopython==1.88" "pillow==12.3.0" "tifffile==2026.9.20";可选表格引擎:uv pip install "pandas==3.0.6" "polars==1.44.2"。先查看能力清单:python scripts/capability_manifest.py list,并用 inspect data.csv --root /approved/project 确认是否可自动处理;再运行最窄工具,如 python scripts/eda_analyzer.py data.csv --root /approved/project --max-rows 100000 --output data.eda.json,或 tabular_profile.py、missingness_leakage_audit.py、distribution_sensitivity.py、sequence_inspector.py、image_inspector.py,最后用 report_scaffold.py 生成报告骨架。

限制:仅接受 --root 内的普通文件,拒绝 URL、管道、stdin、通用归档、符号链接、特殊文件;默认 64 MiB 输入上限、硬上限 512 MiB;不执行宏、表达式、HDF5 对象、模型或 pickle;不打印原始行、序列、元数据值、直接标识符或完整路径;默认输出脱敏 token,--reveal-identifiers 只暴露有界脱敏基名/字段名;不做自动删除异常值、过滤、插补、归一化、变换或覆盖原始数据;行上限扫描的是文件开头而非随机样本;有界前缀/样本不构成完整验证;不可据此做确证性、临床、机制或因果结论。解释前需准备数据字典、观测单位、切分与缺失机制等信息。版本基线核验于 2026-09-30,NumPy 2.5.3 与 tifffile 2026.9.20 需要 Python 3.12+。其它细节暂未提供。