用途:当任务涉及机器学习或数据分析时使用该技能,强调先理解数据结构(schema 与字段说明),再按场景选择对应流程,并且每段代码后附 markdown 单元格分析结果,最后用一个总结单元格完整回答用户问题。
主要能力与流程:若用户需求与示例计划匹配,则据此调整执行。聚类:可视化相关特征、日期转时间戳、优先保留数据、序数特征用 ordinal encoder、名义特征用 one hot encoder、数值标准化,遍历簇数并采集轮廓系数,按最优簇数聚类,用 PCA 等降维到二维并以簇标签或离散特征作 hue 绘图,用文字描述各簇特征分布。时间序列预测:可视化目标随时间变化,按时间顺序切分训练/验证/测试,检查季节性、平稳性,讨论建模方法,训练两个模型并可用验证集调参,可视化实际与预测值,用误差指标评估后选定模型并在验证+测试集上重训、预测并可视化。探索性数据分析/异常检测:可视化目标分布与特征关系,识别并文字描述异常值与趋势。分类:识别并处理不合 schema 或无目标值的行,切分数据,处理缺失值,编码与标准化,训练多模型,过拟合则正则化重训,欠拟合则增加或构造特征,评估并生成混淆矩阵。回归:识别组泄漏来源并适当聚合,可视化目标,切分数据,缺失值处理,高基数类别特征需限制规模,训练多模型,可视化实际对预测值,评估误差。模型对比:对齐业务指标,建立朴素与简单 ML 基线,使用相同固定切分与 k 折交叉验证,时间数据用按时间切分,报告 F1、PR-AUC、MAE、RMSE 等指标,用自助法计算 95% 置信区间,做切片误差分析,比较混淆矩阵、残差图与校准曲线,评估推理延迟、训练时间、算力成本与模型大小,必要时用 SHAP 或 LIME 评估可解释性,最后给出推荐结论。无匹配计划时执行通用流程。
必要实践:监督学习必须先切分训练与测试数据再拟合预处理流水线(缩放、编码),流水线分别在训练与测试数据上独立拟合;必须检查并处理缺失与 NULL 值,先分析频率,再决定保留、删除或按上下文合理填补并说明理由;尽可能保留数据而非删除。
限制:资料未提供该技能的安装命令、收费方式、支持平台与依赖要求。