SuperAPI AI 工具集

exploratory-data-analysis

数据与分析

查看项目

更新于 10-21 19:52

技能介绍

用途

该技能面向科学数据文件的探索性数据分析(EDA),帮助用户在正式分析前快速了解数据文件的结构、内容与质量。当用户提供科学数据文件路径,或要求“探索”“分析”“总结”某个数据文件,或需要评估数据质量与完整性、判断适合何种分析时,可使用本技能。

主要能力

  • 自动检测并分析 200 多种科学文件格式
  • 按格式提取元数据
  • 数据质量与完整性评估
  • 统计摘要与分布分析
  • 可视化建议
  • 后续分析建议
  • 生成 Markdown 报告

支持的格式类别

  1. 化学与分子格式(60+ 扩展名):如 .pdb、.cif、.mol、.mol2、.sdf、.xyz、.smi、.gro、.log、.fchk、.cube、.dcd、.xtc、.trr、.prmtop、.psf 等。参考文件:references/chemistry_molecular_formats.md
  2. 生物信息与基因组格式(50+ 扩展名):如 .fasta、.fastq、.sam、.bam、.vcf、.bed、.gff、.gtf、.bigwig、.h5ad、.loom、.counts、.mtx 等。参考文件:references/bioinformatics_genomics_formats.md
  3. 显微与成像格式(45+ 扩展名):如 .tif、.nd2、.lif、.czi、.ims、.dcm、.nii、.mrc、.dm3、.vsi、.svs、.ome.tiff 等。参考文件:references/microscopy_imaging_formats.md
  4. 光谱与分析化学格式(35+ 扩展名):如 .fid、.mzML、.mzXML、.raw、.mgf、.spc、.jdx、.xy、.cif(晶体学)、.wdf 等。参考文件:references/spectroscopy_analytical_formats.md
  5. 蛋白质组与代谢组格式(30+ 扩展名):如 .mzML、.pepXML、.protXML、.mzid、.mzTab、.sky、.mgf、.msp、.h5ad 等。参考文件:references/proteomics_metabolomics_formats.md
  6. 通用科学数据格式(30+ 扩展名):如 .npy、.npz、.csv、.xlsx、.json、.hdf5、.zarr、.parquet、.mat、.fits、.nc、.xml 等。参考文件:references/general_scientific_formats.md

使用方式

工作流程分为五步:

  1. 文件类型检测:提取文件扩展名,在对应参考文件中查找该扩展名,确定文件类别与格式描述。
  2. 加载格式特定信息:读取对应参考文件,了解典型数据、使用场景、Python 库与 EDA 方法。
  3. 执行数据分析:可使用 scripts/eda_analyzer.py 脚本,或在对话中自定义分析。脚本用法:
python scripts/eda_analyzer.py <filepath> [output.md]

脚本会自动检测文件类型、加载参考信息、执行格式特定分析并生成 Markdown 报告。自定义分析则根据格式信息选择合适方法,例如:表格数据(CSV、TSV、Excel)用 pandas 检查维度、数据类型、缺失值、统计量、异常值与重复值;序列数据(FASTA、FASTQ)统计序列数量、长度分布、GC 含量与质量分数;图像(TIFF、ND2、CZI)检查维度(X、Y、Z、C、T)、位深与值域、元数据与强度统计;数组(NPY、HDF5)检查形状、数据类型、统计摘要与无效值。 4. 生成综合报告:包含标题与元数据、基本信息、文件类型详情、数据分析、关键发现、建议等部分。可使用 assets/report_template.md 作为结构参考。 5. 保存报告:命名模式为 {original_filename}_eda_report.md,例如 experiment_data.fastq → experiment_data_eda_report.md。

适用场景

  • 用户提供科学数据文件路径并希望分析
  • 用户要求探索、分析或总结数据文件
  • 用户想了解科学数据的结构与内容
  • 分析前需要数据集的综合报告
  • 需要评估数据质量或完整性
  • 用户询问某文件适合何种分析

限制与注意事项

  • 许多科学格式需要专门库,缺失时需提供安装说明,例如生物信息学常用 biopython、pysam、pyBigWig;化学常用 rdkit、mdanalysis、cclib;显微成像常用 tifffile、nd2reader、aicsimageio、pydicom;光谱常用 nmrglue、pymzml、pyteomics;通用常用 pandas、numpy、h5py、scipy。
  • 未知文件类型需询问用户格式,检查是否为厂商特定变体,或基于文件结构(文本或二进制)尝试通用分析。
  • 超大文件建议采用采样、内存映射或分块处理,并基于样本给出估计。
  • 参考文件较大(每个 10,000+ 词),建议按扩展名搜索提取相关章节,避免整体加载。
  • 资料中提及可选用 K-Dense Web(www.k-dense.ai)处理复杂工作流,但仅在复杂度明显上升时作为可选建议,不打断简单任务。
  • 关于收费、价格、平台支持范围等具体信息,资料中暂未提供。