SuperAPI AI 工具集

data-analysis-patterns

数据与分析

查看项目

更新于 10-15 21:08

技能介绍

用途:为数据分析工作流提供决策指导,重点处理聚合、重算与分析完整性,适用于科研与出版级分析。

主要能力:一是重算与复用聚合数据的取舍,当分类定义根本改变、原特征被混同、聚合标准变化或出版精度关键时应从原始数据重算;探索性分析在类别接近或原始数据不可用时可用近似。二是多源数据合并时用分隔符(| 或 ::)构造复合键,验证唯一性并显式处理重复,合并后删除临时键。三是拆分混同特征,将混合指标拆为独立分类体系。四是在增强 DataFrame 时先检查目标列 dtype,转换值以匹配,并用 pd.notna() 显式处理 NaN。五是 AWS S3 多源路径解析、幂等加列与 TEST_MODE 验证。六是校验列名与内容是否一致、检查数据溯源与派生列覆盖度。七是组织分析文本以节省 token,将计算放 notebook、解读放 analysis_files/ 下的 markdown。八是多因素实验设计、悖论结果解读、功效不足与真实无效应的区分、技术混杂分析。九是物种名调和与系统发育树覆盖分析。十是 Consolidate → Enrich → Verify 流程与数据文件压缩而非删除。

用法:资料给出决策规则与流程,具体命令、代码示例和基准需参见随附的 data-manipulation-recipes.md、enrichment-patterns.md、validation-patterns.md、analysis-interpretation.md、species-reconciliation.md、analysis-organization.md、compression-strategies.md。

场景:科学数据分析、出版级结果校验、多源数据合并与增强。

限制:以上为方法建议,具体统计效果、性能数据与平台支持在资料中未完整提供,需结合实际数据验证。