用途
本技能为具备编程能力但需要统计严谨性指导的工程师和分析师提供数据科学实践指南,覆盖探索性数据分析、统计推断和预测建模的完整分析流程,重点在于“何时”应用每种技术,而不仅是“如何”应用。
主要能力
- 探索性数据分析(EDA):系统化地加载数据、检查结构、类型、缺失值、重复值,生成数值摘要、分类值计数、分布直方图和相关性热图。
- 数据清洗管道:提供可重复的清洗函数,包括列名标准化、去重、缺失值填充(数值用中位数、分类用“unknown”)、基于IQR的异常值移除,并强调使用
df.copy()避免原地修改。 - 假设检验:根据数据类型和组数选择检验方法,检查正态性(Shapiro-Wilk,n<5000可靠),提供独立样本t检验、Mann-Whitney U检验、卡方检验的代码示例,并计算效应量(Cohen's d)。
- A/B测试分析:包括实验前样本量规划(使用statsmodels的NormalIndPower计算所需样本量)、实验后使用比例z检验分析转化率差异,计算提升度和p值,强调不可中途窥探结果。
- 可视化最佳实践:使用matplotlib和seaborn,设置统一风格,推荐小提琴图展示分布、带置信带的回归散点图、时间序列图标注坐标轴和ISO日期格式,大数据集使用alpha或hexbin避免过绘制。
- 特征工程:先划分训练/测试集防止泄漏,对数值特征用StandardScaler(仅在训练集上fit),提取日期特征,构建交互特征,使用TargetEncoder进行目标编码(需交叉验证折叠防泄漏)。
- 线性与逻辑回归:使用statsmodels获取系数p值和置信区间(推断),使用sklearn构建预测管道并评估RMSE、R²、分类报告和ROC-AUC。
使用方式
该技能以指南形式提供,包含大量Python代码示例(pandas、numpy、scipy、statsmodels、sklearn、matplotlib、seaborn),并引用 references/statistical-tests.md 提供检验选择决策树。首次激活时会检查配套技能安装情况,并提供安装命令:npx skills add AbsolutelySkilled/AbsolutelySkilled --skill <name>。
适用场景
- 加载新数据集并理解其结构和分布
- 清洗、重塑或填充pandas DataFrame中的缺失数据
- 运行假设检验(t检验、卡方、ANOVA、Mann-Whitney)
- 分析A/B测试或实验结果的统计显著性
- 构建相关性矩阵或研究特征关系
- 使用matplotlib或seaborn绘制分布、趋势或模型诊断图
- 为机器学习模型进行特征工程
- 拟合线性或逻辑回归并解释系数
- 计算置信区间、p值或效应量
- 根据数据类型选择合适的统计检验
限制
不适用于深度学习/神经网络架构(应使用ML工程技能)或数据工程管道、ETL、流处理(应使用数据工程技能)。Shapiro-Wilk检验在n>5000时不可靠,应改用可视化诊断或非参数检验。技能中所有代码示例需根据实际数据调整,且不可在实验中途窥探结果以避免p-hacking。