SuperAPI AI 工具集

data-pipeline-engineering

数据与分析

查看项目

更新于 10-15 22:11

技能介绍

用途:为 CIA 平台设计并实现稳健的数据管道,将瑞典政治数据从多个来源抽取、转换并加载到内部数据模型,覆盖 Spring Integration、批处理与监控模式。

适用场景:构建 Riksdagen 数据导入管道;设计政治数据聚合的 ETL 工作流;为大数据集实现批处理;创建数据刷新与同步任务;监控管道健康与数据质量。不适用于实时 API 请求处理(应使用 api-integration 技能)和 UI 数据绑定(应使用 vaadin-component-design 技能)。

主要能力:管道架构分为抽取(API 拉取、XML/JSON、分页)、转换(校验、字段映射、富化)、加载(JPA upsert、批量保存、索引)、监控(指标、告警、仪表盘)四阶段。Spring Integration 采用消息驱动管道,支持 cron 轮询、拆分、过滤、聚合与 JPA 出站适配器,并配置错误通道与死信队列。Spring Batch 作业支持 chunk 处理、重试、跳过与监听器;资料给出分块建议:人员数据约 350 条、块大小 50;投票记录约 10 万/会期、块大小 500;文档约 5 万、块大小 100;委员会数据约 100、块大小 25。转换模式包含字段映射、清洗与规范化。调度支持每日全量刷新与会期每 15 分钟增量导入。监控通过指标记录导入量、耗时与错误。

安全与合规:导入数据需清洗校验、使用事务保证原子性、限制并发、外部化凭据、审计导入来源与时间戳;对齐 ISO 27001、NIST CSF、CIS 控制要求。

限制:资料未提供具体安装命令、依赖版本、部署方式与收费信息。