SuperAPI AI 工具集
合作ENAI 行业资讯收藏
Skill 广场exploratory-data-analysis

exploratory-data-analysis

数据与分析

查看项目

更新于 10-21 16:17

技能介绍

用途

本技能用于在建模或验证性推断之前，对已授权的本地科学数据文件进行有界、确定性的探索性分析。它生成聚合报告，帮助了解数据结构、缺失情况、分布特征和潜在泄漏，但不认证文件、不推断科学含义，也不支持领域参考中列出的所有格式。

主要能力

  • 自动化核心格式：CSV、TSV 提供有界 UTF-8 矩形模式/剖面、缺失/分组/划分审计、分布/离群值/变换敏感性；JSON 提供有界严格整文档结构检查，拒绝重复键和 NaN/Infinity。
  • 自动化可选格式：NPY/NPZ（形状/类型及有界数值样本，只读 mmap，无对象类型/pickle）；HDF5（仅限有界层级/数据集元数据，不读取值/属性、软/外部链接、外部存储或过滤器解码）；FASTA/FASTQ（有界 Biopython 流式记录/碱基前缀，聚合长度/字母表/GC，FASTQ 额外提供 Phred+33 聚合筛查）；PNG/JPEG（仅 Pillow 容器元数据，不解码像素）；TIFF/OME-TIFF（仅 tifffile 页面/系列/形状/轴/类型元数据，不读取像素、标签或 OME-XML 值）。
  • 仅参考格式：PDB/mmCIF/SDF/轨迹、SAM/BAM/VCF/BED/GFF、厂商显微镜、DICOM/NIfTI、mzML/JCAMP/厂商 RAW、mzIdentML/mzTab/pepXML、Parquet/Excel/Zarr/NetCDF/MAT/FITS 等，需阅读对应参考并使用单独固定/验证的领域工具，或将派生副本转换为自动化格式。
  • 不支持格式：失败关闭，要求提供格式/规范并添加经审核的支持后再读取内容。

使用方式

  1. 确认授权与根目录：使用专用批准目录。若请求文件在根目录外、包含直接标识符或授权不明确，停止并请求安全副本/根目录。不要扩大根目录以绕过边界。
  2. 内容分析前先清单：运行 python scripts/capability_manifest.py inspect data.csv --root /approved/project --output data.manifest.json。若状态为 reference_only，不要运行 eda_analyzer.py，阅读匹配参考并选择验证过的领域工具；若未知则停止。
  3. 运行最窄的自动化工具：例如通用有界报告 python scripts/eda_analyzer.py data.csv --root /approved/project --max-rows 100000 --output data.eda.json；表格模式/剖面 python scripts/tabular_profile.py data.tsv --root /approved/project --missing-token NA；缺失与常见泄漏筛查 python scripts/missingness_leakage_audit.py data.csv --root /approved/project --group-column condition --entity-column subject_id --split-column split --time-column observation_time；分布/离群值/变换敏感性 python scripts/distribution_sensitivity.py data.csv --root /approved/project --column measurement；可选序列/图像元数据 python scripts/sequence_inspector.py reads.fastq --root /approved/project 和 python scripts/image_inspector.py image.ome.tiff --root /approved/project。
  4. 添加科学背景：只阅读一个相关格式参考，不要加载所有参考。
  5. 创建报告脚手架：python scripts/report_scaffold.py --input data.csv --root /approved/project --analysis-date 2026-07-23 --output data.eda.md，然后完成 assets/report_template.md。

安装仅需的能力：uv pip install "numpy==2.5.1" "h5py==3.16.0" "biopython==1.87" "pillow==12.3.0" "tifffile==2026.7.14"；可选表格引擎：uv pip install "pandas==3.0.5" "polars==1.43.0"。

适用场景

适用于在建模或验证性推断前，对授权本地科学数据（表格、JSON、NumPy、HDF5、序列、图像元数据）进行快速、安全、有界的探索性检查，尤其关注缺失机制、分组/划分结构、分布敏感性和潜在数据泄漏。

限制

  • 不认证文件、不推断科学含义、不支持所有格式。
  • 不读取 URL、管道、stdin、归档、符号链接、特殊文件或根目录外路径。
  • 不使用 pickle/joblib/dill、allow_pickle=True、动态求值、宏或任意插件执行。
  • 不打印原始行、序列、元数据值、直接标识符或完整路径。
  • 不自动删除离群值、过滤记录、插补、归一化、变换、批次校正或覆盖原始数据。
  • 不声称有界前缀/样本是完整验证。
  • 不从 EDA 做出验证性、临床、机制或因果声明。
  • “未检测到”仅表示在有界扫描范围内未检测到；缺失间隙或划分重叠是诊断标志，不是偏差或泄漏的证明。
  • 通用 HDF5/TIFF 元数据不是 H5AD/Loom/OME/厂商一致性；仅元数据图像检查不是像素完整性或定量图像 QC；序列前缀聚合不是完整读段 QC。
  • 版本固定为 2026-07-23 验证的快照，非传递锁文件；NumPy 2.5.1 和 tifffile 2026.7.14 需要 Python 3.12+。