SuperAPI AI 工具集

umap-learn

数据与分析

查看项目

更新于 10-16 03:39

技能介绍

UMAP-Learn 是一种非线性降维技术,用于可视化与通用降维,可生成快速、可扩展的嵌入,保留局部与全局结构,并支持监督学习与聚类预处理。安装方式:uv pip install umap-learn。

基本用法:遵循 scikit-learn 约定,可作为 t-SNE 或 PCA 的替代。使用前必须标准化特征(StandardScaler),以保证各维度权重一致。可用 fit_transform 一步完成,或先 fit 再取 embedding_ 复用模型。

主要参数:n_neighbors(默认 15)平衡局部与全局结构,低值突出局部细节,高值突出全局拓扑;min_dist(默认 0.1)控制低维空间点的紧密程度,0.0 适合聚类,0.1-0.3 适合可视化;n_components(默认 2)决定输出维度,2-3 用于可视化,5-10 用于聚类预处理;metric(默认 euclidean)可选 cosine(文本向量)、hamming(二值数据)等。

监督与半监督:通过 y 参数传入标签实现监督降维,未标注点以 -1 标记实现半监督。可在已标注数据上训练后用 transform 处理新数据,并用于下游分类器(如 SVC)的特征工程。

聚类:作为 HDBSCAN 等密度聚类的预处理,推荐参数为 n_neighbors=30、min_dist=0.0、n_components=5-10。注意 UMAP 不完全保留密度,可能产生人工簇划分,需验证结果。

转换新数据:transform() 可将训练好的嵌入应用到新数据,但要求训练与测试数据分布一致,否则宜用 Parametric UMAP。可通过随机状态 random_state 保证可复现。

高级功能:Parametric UMAP 用 TensorFlow/Keras 训练编码网络,支持高效转换新数据、逆变换与自定义架构,需安装 uv pip install umap-learn[parametric_umap];支持 inverse_transform 重建高维数据(计算昂贵,凸包外效果差);AlignedUMAP 用于时间序列或相关数据集对齐嵌入。

常见问题:组件断裂可增大 n_neighbors;簇分散可减小 min_dist;大数集可设 low_memory=True 或先用 PCA 降维。详细 API 见 references/api_reference.md。

局限性:资料未提供具体性能基准、收费信息或与其它降维方法的量化对比。