data-analysis

数据分析技能

支持的输入数据类型：表格形式的数据（csv、xlsx）；文本中包含的数据（docx、pdf、md）；图片中包含的数据（png、jpg）。

步骤一：数据读入与探查

为防止 Token 溢出和执行环境卡死，智能体严禁直接打印全量数据或将其加载到 Prompt 上下文中，只允许将必要的数据概要加载进上下文。

1. 数据读入与保存 对不同类型的数据应使用不同的读取方法：csv 直接使用 pandas 库读取；xlsx 使用 pandas 库或 \xlsx 工具读取；docx 使用 \docx 工具读取，并将其中待分析的目标数据提取出来保存为 csv 文件；pdf 使用 \pdf 工具读取并保存为 csv；md 直接读取并保存为 csv；png、jpg 使用视觉工具读取并保存为 csv。

2. 数据探查 在编写正式分析代码前，必须先执行一段轻量级的探查代码，保存至工作空间。原则：只看样貌，不看全貌，仅获取元数据和少量样本；元数据优先，必须获取列名与数据类型；样本限制，严格限制读取行数（推荐 n=5）；探查全部文件，若有多份待分析文件需逐一探查并检查文件间关联，将关联方式保存为 csv 或 md 供后续参考。

标准探查代码模式（Python 示例）使用 pandas 的 read_csv(nrows=5)、read_parquet().head(5)、read_excel(nrows=5) 等方式输出前5行预览及列信息与类型。

1. 编码与格式自适应：读取失败时尝试 encoding='gbk' 或 encoding='latin1'；若数据挤在一列，尝试 sep=';' 或 sep='\t'。

步骤二：数据质量检查

分析前必须先“体检”，检查结果需放入最终报告。检查清单：

完整性：检查缺失值（NULL、NaN、空字符串比例）、注意伪缺失值（-1、0、9999、"Unknown"）、记录缺失（数据量是否符合预期、时间序列是否连续）、文本字段是否被截断。

唯一性：检查完全重复行、主键重复、业务实体因大小写或空格不同产生的重复。

准确性与有效性：检查数据类型（数值字段是否混入字符串、日期字段是否真为日期格式）、取值范围是否合理。

一致性：单位统一、枚举值统一、跨表一致性。

关联性：外键约束，检查事实表 ID 是否都能在维度表中找到，避免孤儿数据。

技能提供了对应的代码示例，涵盖完整性、唯一性、准确性、一致性、关联性检查的 Python 实现。

步骤三：确定工作流程

根据任务需求确定具体工作流程，优先使用用户指定的分析方法。工作流程一般包含数据处理、分析和可视化呈现。

核心分析方法：

1. 统计分析：描述性统计、推断性统计、相关性分析、分布分析、高级统计检验。
2. 模式发现：趋势分析与时间序列分解、季节性模式检测与预测、聚类与细分、关联规则挖掘、特征工程、降维技术。
3. 商业智能：KPI 分析与仪表板设计、客户细分与画像、购物篮分析与推荐系统、流失预测与客户生命周期价值、A/B 测试与实验设计、ROI 分析与业务影响评估。
4. 探索性技术：单变量、双变量、多变量分析、时间序列分析、类别数据分析、空间分析、文本分析与自然语言处理。

核心可视化方法：针对数值型数据（分布、比较、关系、构成、趋势）、分类型数据（频率、比较、关系、构成）、时间序列数据（趋势、季节性、比较、分布），以及交互式仪表盘和动画可视化等高级技巧。

报告撰写：根据用户要求确定报告类型，若无明确要求只给出一份 md 格式的数据分析报告。报告类型可为执行摘要、商业数据分析报告、仪表盘文档；格式支持 markdown、pdf、docx。报告需注重准确性、逻辑性、专业性、基于数据、可执行见解、视觉集成和可读性。

步骤四：规范代码生成与执行

支持的编程语言：Python（Pandas、NumPy、Scikit-learn、Matplotlib、Seaborn、Plotly、TensorFlow、PyTorch）、R、SQL、JavaScript。

常用技术栈（Python）：核心处理 pandas、numpy；统计与挖掘 scipy、sklearn；可视化 matplotlib、seaborn、plotly；工具库 tabulate、\xlsx 工具、\pdf 工具、\docx 工具。

代码生成分三阶段：需求分析（明确目标、选择语言与库）、结构设计（模块化、内存管理）、实施（简洁高效、错误处理、注释、执行）。错误处理涵盖数据加载、内存、性能和依赖问题。

步骤五：结果验证与输出

交付前执行自检：完整性检查（结果文件是否生成、计算结果是否非空合理、输出文件是否完整）和格式一致性（图表标题轴标签图例、报告字体与标题层级、图片位置与说明）。通过质量门控后才可交付。

示例： 示例1为基础销售数据趋势分析，展示从数据探查到交付的全流程；示例2为跨文件关联分析，涉及多模态数据处理与关联检查。