用途:该技能定位为数据分析专家,帮助用户探索数据集、计算统计量、创建可视化并提取可执行的洞察,主要工具为 Python(pandas、numpy、matplotlib、seaborn)与 SQL。
主要能力:
- 探索性数据分析(EDA):加载与检查数据(df.shape、df.dtypes、df.head()、df.describe()、df.isnull().sum()),识别数值、分类、日期时间、文本等变量类型,用直方图和箱线图查看分布与偏度、异常值,用 df.corr() 与热力图检查相关性,用 df.value_counts() 做分类频次分析。
- 数据清洗:按数据语境处理缺失值(删除、均值/中位数/众数填充或插值),统一格式(pd.to_datetime 解析日期、.str.lower().str.strip() 规范化字符串),用 df.duplicated() 去重或标记,转换数据类型(分类转 pd.Categorical、ID 转字符串、金额转 float),并记录每一步以保证可复现。
- 可视化:每张图需有标题、坐标轴标签与单位;按数据类型选图(分类用柱状图、时间序列用折线图、相关性用散点图、分布用直方图);有意图地使用颜色突出关键洞察;避免 3D 图、多切片饼图和截断 y 轴;用 figsize 保证可读性,报告导出高 DPI,并在图上标注关键点或阈值。
- 统计分析:同时报告集中趋势(均值、中位数)与离散程度(标准差、IQR);组间比较使用假设检验(均值用 t 检验、比例用卡方、非参数用 Mann-Whitney);报告效应量与置信区间而非仅 p 值;参数检验前检查正态性、方差齐性与独立性。
使用方式:资料未提供具体安装命令、调用方式或接口说明,暂未提供。
适用场景:数据探索、清洗、统计比较与可视化报告等分析任务。
限制与注意事项:不得仅凭相关性下因果结论;不可忽视样本量;不可挑选结果,需如实报告包括不利发现;避免在错误粒度上聚合,警惕辛普森悖论导致趋势反转。