SuperAPI AI 工具集

data-pipeline-engineering

数据与分析

查看项目

更新于 10-15 22:11

技能介绍

用途:提供设计稳健 ETL(提取、转换、加载)管道的专业知识,面向自动化数据处理,关注可靠性、监控与可维护性。

主要能力与核心原则:强调幂等性(多次运行结果一致)、可观测性(管道健康状态可见)、错误恢复(优雅处理失败)、版本追踪(记录数据变化)以及实时监控与健康检查。技能约束并推行 ETL 工作流模式(Extract → Transform → Load)、自动调度(cron、GitHub Actions)、数据版本化与归档、管道健康监控、错误恢复策略和审计日志。

使用方式:资料未提供具体安装命令或调用代码。可用于构建自动化数据管道、调度数据抓取工作流、实现数据版本化、监控管道健康状况以及设计错误恢复方案。

质量原则:要求应用 AI FIRST 原则,不接受首次通过的质量,至少进行 2 次迭代,阅读全部输出并改进每个部分。

适用场景:自动化数据抓取与调度、ETL 流程搭建、数据变更追踪与归档、管道运维监控。

限制:资料未说明支持的具体平台、依赖、收费或价格;参考仅列出 GitHub Actions 与 ETL Best Practices。版本 1.0,最后更新 2026-02-06,分类标注为 Development & Operations。具体命令、配置与使用步骤暂未提供。