用途:该技能让 AI 智能体操作一套完整的数据工程管道,实现 Medallion 架构(Bronze → Silver → Gold),使用 MinIO(兼容 S3 的对象存储)、Airbyte(数据摄取)、PostgreSQL(数据仓库)、DBT(转换)、Apache Airflow(编排)与 Grafana(监控)。整体遵循 ELT 模式:Bronze 层保存来源原始不可变数据(JSONB),Silver 层做清洗、校验与类型转换,Gold 层产出面向业务的聚合指标与 KPI。
主要能力:通过 Airbyte 将 MinIO 原始数据摄取到 PostgreSQL;用 DBT 完成三层转换;用 Airflow DAG 编排全流程(bronze_ingestion_dag、silver_transformation_dag、gold_aggregation_dag);用 DBT 测试做数据质量校验;用 Prometheus 与 Grafana 监控基础设施;在 Power BI 中可视化业务指标。
使用方式:需 Docker 20.10+、docker-compose 2.0+,建议 16GB 内存。克隆仓库后执行 make setup、make start,用 make status 检查容器健康。服务入口包括 Airflow(http://localhost:8080,admin/admin)、MinIO(http://localhost:9001)、Airbyte(http://localhost:8000)、Grafana(http://localhost:3000)、Prometheus(http://localhost:9090)、DBT Docs(http://localhost:8085)。常用命令有 make dbt-run、make dbt-test、make dbt-docs、make dbt-snapshot、make upload-data、make trigger-dag DAG_ID=bronze_ingestion_dag、make lint、make format、make validate、make clean。
适用场景:需要演示或搭建分层数据仓库、数据质量测试、SCD Type 2 快照与业务指标聚合的数据工程项目。
限制:资料未提供收费、价格、平台兼容性与实际效果信息;运行依赖本地 Docker 环境与相应资源,具体配置需按 .env 与 profiles.yml 填写。