用途:该技能为使用 scikit-learn(Python 经典机器学习标准库)完成机器学习任务提供指导,适用于分类、回归、聚类、降维、预处理、模型评估以及构建生产级 ML 流水线,并支持结构化(表格)与文本数据。
主要能力:
- 监督学习:线性模型(Logistic/Linear Regression、Ridge、Lasso、ElasticNet)、树模型(决策树、随机森林、梯度提升)、SVM(SVC/SVR)、集成方法(AdaBoost、Voting、Stacking)、神经网络(MLPClassifier/Regressor)、朴素贝叶斯、KNN,用于分类与回归。
- 无监督学习:聚类(K-Means、MiniBatchKMeans、DBSCAN、HDBSCAN、OPTICS、层次聚类、高斯混合、MeanShift、SpectralClustering、BIRCH)与降维(PCA、TruncatedSVD、NMF、t-SNE、UMAP、Isomap、LLE、FastICA、LDA)。
- 模型评估与选择:交叉验证(KFold、StratifiedKFold、TimeSeriesSplit、GroupKFold)、超参数调优(GridSearchCV、RandomizedSearchCV、HalvingGridSearchCV)、分类/回归/聚类指标。
- 数据预处理:缩放(StandardScaler、MinMaxScaler、RobustScaler、Normalizer)、类别编码(OneHotEncoder、OrdinalEncoder、LabelEncoder)、缺失值填补(SimpleImputer、KNNImputer、IterativeImputer)、特征工程(PolynomialFeatures、KBinsDiscretizer、RFE/SelectKBest/SelectFromModel)。
- 流水线:Pipeline、ColumnTransformer、FeatureUnion、TransformedTargetRegressor,避免数据泄漏并支持联合调参。
使用方式:安装可用 uv pip install scikit-learn,可视化可选 uv pip install matplotlib seaborn,常配合 pandas、numpy。官方资料提供分类流水线与聚类分析示例脚本,可运行 python scripts/classification_pipeline.py 与 python scripts/clustering_analysis.py。
最佳实践与限制:始终使用 Pipeline,仅在训练集上 fit,分类任务用分层切分,设置 random_state 保证可复现;SVM、KNN、神经网络、PCA、带正则的线性模型与 K-Means 需要特征缩放,树模型与朴素贝叶斯通常不需要。常见问题包括 ConvergenceWarning(增大 max_iter 或缩放)、过拟合(正则化、交叉验证、简化模型)和大数据内存不足(SGDClassifier、MiniBatchKMeans)。参考资料给出官方文档、用户指南、API 参考与示例库链接;具体收费、价格与平台支持等信息暂未提供。