用途:为零售业务构建端到端 ETL 数据仓库,采用 Medallion 架构(Bronze 原始层 → Silver 清洗层 → Gold 业务层),处理库存损耗、肉禽配方转换、供应商返利分级、多分店销售合并与跨门店库存管理,最终输出面向 BI 的“单一事实版本”。
主要能力:Bronze 层从 CSV 原始摄取,保留源格式并附加 _loaded_at、_source_file 审计列;Silver 层做类型强制、去重、日期/货币/商品编码标准化与业务规则校验;Gold 层做聚合指标、KPI 计算(库存周转、损耗率)与维度模型。提供 13+ 个需按序执行的 SQL 脚本,以及库存损耗、销售汇总等存储过程。可选 PySpark 处理大规模 Silver/Gold 转换,可选 Airflow DAG 编排每日调度。
使用方式:需 Docker、SQL Server 2019+、Python 3.8+、PySpark 3.x,Airflow 可选。克隆仓库后执行 docker-compose up -d 启动 SQL Server,再用 sqlcmd 运行 sql_scripts/00_create_database_and_schemas.sql 等脚本,按 Bronze→Silver→Gold 顺序处理;重建可运行 sql_scripts/12_rebuild_inventory_pipeline_final_fix.sql。通过环境变量配置 SQL Server 连接与各层数据路径。
适用场景:多分店销售整合、库存损耗检测、肉禽配方产出率跟踪、供应商返利分级计算。
限制:具体收费、价格与平台支持情况暂未提供;实际运行依赖 SQL Server 与 Docker 环境,脚本需按顺序执行。