SuperAPI AI 工具集

enterprise-data-engineering-pipeline-ssis-pyspark

数据与分析

查看项目

更新于 10-16 07:27

技能介绍

用途:该项目提供完整的企业数据工程流水线,将原始 CSV(Sales、Products、Customers)经 SSIS 抽取转换后加载到 SQL Server 星型模型数据仓库,再用 Python/Pandas 做数据质量审计与可视化,用 PySpark 做大数据聚合分析。

主要能力:SSIS 负责 ETL 编排与错误处理;SQL Server 建立维度表 dim_Customers、dim_Products 与事实表 fact_Sales,并提供 vw_RevenueByProduct、vw_CustomerLTV 等 BI 视图;Python 脚本执行空值、孤立记录、收入分布审计及客户分层;PySpark 通过 JDBC 读取数据,做月度收入、品类绩效聚合,并支持分区写入 Parquet 与广播连接优化。

使用方式:需 SQL Server 2019+、SSIS、Visual Studio+SSDT、Python 3.10+、Java 8+。安装依赖:pip install pandas sqlalchemy pyodbc pyspark matplotlib。先执行 01_Schema_Setup.sql 建库建表,再在 Visual Studio 创建 Integration Services 项目并配置连接管理器,或用 dtexec /FILE "EnterpriseETL\Package.dtsx" 运行包;随后运行 python project_audit.py 与 spark-submit --jars mssql-jdbc-9.4.0.jre8.jar pyspark_analytics.py。增量加载可用 stg_Sales 与 MERGE 语句实现。

适用场景:企业数据仓库建设、ETL 自动化、数据质量审计、客户分层与大规模销售分析。

限制:依赖 Microsoft 与 Apache 技术栈,需自行准备 SQL Server、SSIS、Spark 环境及 JDBC 驱动;资料未提供具体收费、价格或性能基准,实际效果取决于数据规模与部署配置。