csv-pipeline
这是一个基于标准命令行工具与 Python 3 的 CSV 数据管道技能，用于处理 CSV、TSV、JSON 和 JSON Lines 等表格数据。它无需额外第三方依赖，可完成数据筛选、连接、聚合、去重、清洗、格式转换与报告生成等常见数据处理任务。技能内容涵盖了用 head、tail、cut、sort、awk 快速查看、筛选、排序、去重和求和的命令行方法，以及用 Python 的 csv、json、collections 模块进行复杂转换的代码模板，包括读取与写出、按列分组聚合、内连接与左连接、按键去重、CSV 与 JSON/JSONL 互转、TSV 转 CSV、缺失值与布尔值归一化、按 schema 校验数据类型、生成 Markdown 汇总报告，以及逐行流式处理大文件。适用场景包括用户提供表格文件并请求分析、转换或报告，数据集连接、过滤、分组、聚合，格式互转，去重排序与脏数据清理，汇总统计，以及 ETL 工作流。限制方面，资料未说明具体收费、平台适配细节或性能基准，仅明确除 Python 3 外不需要外部依赖，并建议对超大聚合考虑 Python 自带的 sqlite3，同时提醒注意编码与 BOM 处理。