SuperAPI AI 工具集

scientific-data-preprocessing

数据与分析

查看项目

更新于 10-15 21:46

技能介绍

用途:该技能用于分组时序数据(如比赛、会话、患者、实验)的预处理规划、反思与验证,核心目标是防止数据泄漏和语义错误。资料称其基于真实项目失败案例(V1.0 错误率 88.9%),强调在任何预处理任务前必须咨询。

主要能力:提供多级特征分析框架(数据类型、特征类型、数据结构、物理含义);区分组内(相对)与全局(绝对)处理范围;给出组内插值、组内/全局标准化、二值变量保持原样、类别变量独热编码、滑动窗口动量特征等模式;并提供数据质量校验、处理范围自动检测、数据泄漏检测(ID 泄漏、因果倒置、编码当数值、时间穿越)与分布感知缩放选择。

使用方式:在预处理前、中、后调用;先确认数据存在分组列(如 match_id、patient_id、session_id),明确目标是组内还是跨组比较,并了解数据范围与单位约束。资料给出 pandas、scipy、sklearn 的示例代码,如 df.dtypes、pd.get_dummies、StandardScaler、CubicSpline、groupby().transform() 等。

适用场景:体育分析、医疗/临床分组数据、面板或纵向研究,以及审查 AI 生成的预处理代码。

限制:不处理纯横截面数据;不做领域特征工程决策;不选择 ML 模型;不处理分布式/大数据基础设施,假设数据可放入内存。资料未提供安装命令、收费与平台信息。