SuperAPI AI 工具集

data-transform

数据与分析

查看项目

更新于 10-16 05:01

技能介绍

用途:在本地环境中完成数据清洗、预处理与重塑,涵盖缺失值处理、去重、异常值剔除、归一化与缩放、长宽格式转换、过滤子集、数据集合并以及特征工程,适用于原始数据整理和数值特征标准化等任务。

主要能力:使用 pandas 读取与处理数据,用 numpy 做数值运算,用 scikit-learn 的 StandardScaler、MinMaxScaler、RobustScaler、LabelEncoder、OneHotEncoder 完成缩放与编码;支持 melt/pivot 重塑、merge/concat 合并、groupby 聚合、数据类型转换、AnnData 与 DataFrame 互转、基因表达矩阵转置与对数变换、差异表达结果处理、按块批量读取多文件,并给出 SettingWithCopyWarning、内存不足、合并键错误等常见问题的排查方式。

使用方式:先导入 pandas、numpy 及相关 sklearn 预处理类,再按清洗、缩放、重塑、过滤、合并、特征工程的步骤调用相应函数,例如 pd.read_csv、drop_duplicates、dropna、fillna、melt、pivot、pd.merge、pd.concat、groupby.agg、pd.get_dummies。命令与代码保持原样。使用前建议用 head、info、describe 检查数据,修改前用 copy 复制,大文件可设定 chunksize 分块处理。

适用场景:适合需要在本地对表格数据或组学数据进行预处理与形态转换的工作流。

限制:执行于智能体的本地沙箱,DataFrame 数据存放在内存中,超大文件需分块;pandas 对百万行以内数据通常较快,未提供具体性能或价格信息。注意 DataFrame 使用复数 .dtypes,单列 Series 使用单数 .dtype。兼容任意 LLM 提供方(GPT、Gemini、Claude、DeepSeek、Qwen 等)。