SuperAPI AI 工具集

data-import-parsers

数据与分析

查看项目

更新于 10-16 06:20

技能介绍

用途:面向 ETL/导入管道(CSV、XLSX、JSON 入数据库)、当前会把整文件读入内存的解析器,以及需要可重复运行、可审计的导入任务。

主要能力与硬性要求:输入文件按顺序逐个处理,不先全量加载再插入;显式定义并执行类型校验与转换,拒绝歧义情况;不可修复记录跳过并写入错误 CSV,包含输入原始全部列,外加 timestamp、file、line、error;至少输出 rows_ok、rows_skipped、parse_errors 指标;数据库写入必须幂等,重跑不产生重复或损坏数据。

使用方式:先规划,确认输入格式、数据量、行标识与去重策略,定位现有导入入口与写入层,定义字段映射、校验规则、转换规则和错误分类;再实现流式架构,逐行或分块读取、按有界批次写入,保持单调进度日志;校验与转换分层处理解析、业务校验、持久化;错误行原样记录并附上下文;维护并输出文件级与运行级指标,可选持久化到 JSON 或数据库表;幂等策略可选自然键 upsert、唯一约束冲突处理、暂存表合并或按文件哈希/检查点的摄取台账。

适用场景:数据导入、解析重构、数据质量与可审计性要求较高的批处理任务。

限制:资料未提供具体语言、库、安装命令、性能基准或收费信息;完成标准要求验证内存不随总行数增长、重跑无重复、单行或单文件失败不污染整体运行。