SuperAPI AI 工具集

retail-etl-medallion-pipeline

数据与分析

查看项目

更新于 10-16 07:27

技能介绍

用途:为零售/大卖场构建生产级 Medallion(Bronze/Silver/Gold)ETL 数据管道,处理多分店销售合并、库存跟踪、商品配方/出成率换算、供应商返利分级等业务逻辑,并输出可供 BI 使用的分析模型。

主要能力:Bronze 层从 CSV 原始数据(销售、库存、商品)落地并附加审计列;Silver 层做清洗、标准化、去重、空值处理、数据质量评分,并对肉类/禽类/海鲜应用 RecipeYield 换算;Gold 层生成库存周转、销售业绩、供应商返利、商品毛利等聚合维度表。附带数据质量校验查询、性能优化(索引、按月分区、Query Store)与增量加载水位表方案。

使用方式:用 docker-compose 启动 SQL Server 容器,执行 sql_scripts/00_create_database_and_schemas.sql 初始化 RetailDataWarehouse 及 bronze、silver、gold、staging 架构;将 CSV 放入 data_source 后按顺序执行各层存储过程,例如 EXEC bronze.usp_LoadProducts;、EXEC silver.usp_TransformSales;、EXEC gold.usp_BuildInventoryMetrics;,也可用 run_etl_pipeline.sh 脚本或 Airflow 编排。

适用场景:零售数据仓库建设、BI 看板数据准备、库存损耗与周转分析、供应商返利计算。

限制:需 SQL Server 2017+ 与相应文件读取权限;BULK INSERT 可能遇到权限问题,需改用 OPENROWSET;大数据量下 Silver 过程可能超时,需分批处理;配方出成率缺失时需补默认值 1.0。PySpark 与 Airflow 的具体实现细节资料中暂未提供。