SuperAPI AI 工具集

scientific-data-preprocessing

数据与分析

查看项目

更新于 10-15 21:03

技能介绍

用途:用于在解析前对 CSV/DataFrame 数据进行清洗与转换,覆盖缺失值、异常值、类别编码、缩放和变换等标准步骤,并以可追溯、可复现的方式实现。适用于需要选择缺失值填补策略、对类别变量编码、对数值数据缩放归一化或检测处理异常值的场景。

主要能力:提供数据质量报告(dtype、唯一值、缺失率、零值、均值/标准差/偏度/峰度);缺失值处理支持 dropna、中位数/均值填补、SimpleImputer(most_frequent)、KNNImputer(n_neighbors=5) 及 IterativeImputer(MICE,实验性);异常值检测支持 IQR、Z-score、MAD 三种方法,处理动作有 clip、remove、nan;编码支持 LabelEncoder、OrdinalEncoder、pd.get_dummies、TargetEncoder;缩放支持 StandardScaler、MinMaxScaler、RobustScaler、Pareto Scaling、log2(x+1)、Box-Cox。

使用方式:以函数形式提供模板,包括 data_quality_report、handle_missing_values、detect_outliers、handle_outliers、encode_categorical、scale_features,以及可配置的预处理管道 preprocessing_pipeline,config 可指定 drop_duplicates、missing_strategy、outlier_method、outlier_action、encoding_method、scaling_method。

限制:IterativeImputer 属 scikit-learn 实验性功能。资料未提供安装命令、收费、价格与具体平台信息。