用途:当用户刚上传数据、询问“数据有多少行”“有哪些字段”“数据长什么样”时使用,对数据集做轮廓扫描,生成数据概况报告。只做描述,不做分析,不计算 IV、PSI、相关性等建模指标,也无需目标变量。\n\n主脚本为 scripts/profiler.py。参数:--data_path(必选,parquet/csv 数据文件路径);--output(默认 data_profiling_report.md);--output_dir(默认 ./outputs/<ts>);--output_name(默认 data_profiling_report,不含扩展名);--config(JSON 配置文件路径)。执行示例:python scripts/profiler.py --data_path ./examples/toy.parquet --output_dir ./outputs/profile_run。\n\n执行后在 <output_dir>/ 下生成 report.md 数据概况报告与 result.json 结构化产物清单,stdout 末行打印 result.json 绝对路径,Agent 读取该文件即可。result.json 示例包含 skill、status、files、metrics(n_rows、n_cols、n_missing_cols)与 summary。\n\n报告结构分为七节:数据概览(文件名、格式、大小、行列数、字段类型分布饼图);字段详情清单(每字段类型、缺失率、唯一值数、示例值);数值特征分析(均值/标准差/分位数/偏度/峰度与 histogram);类别特征分析(唯一值数、Top 值占比、集中度与 bar chart);缺失值分析(缺失率排名表与柱状图);数据质量(重复行、空列、常量列、高缺失列);样本预览(前 5 行)。数值或类别特征超过 20 个时,表格与图表只展示前 20 个。\n\n与其他技能的关系:data-profiling 快速了解数据轮廓,不做深度分析;feature-analysis 做深度特征分析(IV、PSI、相关性等),需要目标变量;xgb-modeling 为建模全流程,需要目标变量。建议先用本技能了解数据基本情况,再根据洞察决定是否需要后两者。\n\n注意事项:无需目标变量,为纯数据描述;快速轻量,适合大数据集快速扫描;自动类型推断,识别数值型、类别型、布尔型、时间型、文本型字段。
data-profiling
数据与分析
更新于 10-15 19:55