data-pipeline-processor
Data Pipeline Processor 是一个用于数据处理的开源技能,版本 1.1.0,归类为开发类。它通过可配置的转换管道处理数据文件,支持验证、编码检测和多格式导出。核心流程为:输入(CSV/Excel/JSON)→ 验证 → 转换 → 分析 → 导出。主要能力包括:自动检测文件编码(UTF-8、Latin-1、cp1252 回退),读取 CSV、Excel、JSON、Parquet 等格式;通过可配置规则进行数据验证(必填列、重复行、空值检查);提供链式数据转换操作(重命名列、过滤行、选择/删除列、填充空值、类型转换、添加计算列、分组聚合、排序);支持导出为 CSV、Excel、JSON、Parquet。使用方式包括 YAML 配置文件驱动和 Python 编程调用两种,可通过命令行运行管道,支持覆盖输入输出路径和 dry-run 仅验证模式。适用于 CSV/Excel/JSON 数据清洗与转换、批量文件处理与聚合、编码问题处理、ETL 操作以及数据质量检查与报告等场景。