SuperAPI AI 工具集

data-science-feature-engineering

数据与分析

查看项目

更新于 10-15 23:58

技能介绍

用途:在探索性数据分析(EDA)之后,把数据洞察转化为可提升模型性能的特征;当模型表现不佳、需处理多种数据类型、或需要降维与筛选高预测力特征时使用。

主要能力:数值特征方面支持缩放(StandardScaler、MinMaxScaler、RobustScaler)、变换(log、sqrt、Box-Cox 处理偏态)、分箱(等宽、分位数、自定义)和交互特征;类别特征方面支持独热编码(低基数)、目标/均值编码(高基数)、序数编码、频率与稀有类别处理;日期时间特征方面可提取年、月、日、时、星期几等分量,进行周期性编码(sin/cos)以及时间间隔/时长特征;文本特征方面支持 TF-IDF、CountVectorizer、句向量嵌入(sentence-transformers)和基本文本统计(长度、词数);特征选择涵盖过滤法(相关性、互信息)、包裹法(递归特征消除)与嵌入法(L1 正则、树模型重要性)。

使用方式:资料给出工具选型建议——sklearn 管道用 sklearn.pipeline + ColumnTransformer,类别编码可用 category_encoders,特征选择用 sklearn.feature_selection,文本嵌入用 sentence-transformers,自动特征工程用 Feature-engine。核心实现规则:用管道防止数据泄漏;仅在训练集上 fit_transform,测试集只做 transform;用 OneHotEncoder(handle_unknown='ignore') 处理未知类别;记录所创建特征、原因及预期影响。

适用场景:数值、类别、文本、日期时间混合的表格与文本数据建模前的特征准备。

限制与注意事项:资料列举了常见反模式,包括在全量数据上拟合预处理器(造成泄漏)、对高基数特征做独热编码(维度爆炸)、对距离类模型忽略特征缩放、脱离领域逻辑造特征、未验证训练与测试特征分布是否一致。参考文档包括分类编码、日期时间特征、文本特征、特征选择等文件;相关内容与数据科学 EDA、模型评估、数据工程等技能关联。具体安装命令、版本要求与收费信息暂未提供。