用途:基于哈佛艺术博物馆 API 构建生产级 ETL 管道与分析看板,演示采集、转换、入库、SQL 分析与可视化的完整流程。
主要能力:通过分页与限流从 API 获取有图像的藏品数据;将嵌套 JSON 拆分为 artifactmetadata、artifactmedia、artifactcolors 三张规范化表;提供 20 余条预定义分析查询(按文化、世纪、部门、媒介可用性、颜色、分类等);用 Plotly 图表经 Streamlit 渲染交互看板。
使用方式:克隆仓库并安装依赖,获取哈佛 API 密钥,创建 .env 填入 HARVARD_API_KEY、DB_HOST、DB_USER、DB_PASSWORD、DB_NAME,创建 MySQL 或 TiDB Cloud 数据库及上述三张表,然后运行应用。
git clone https://github.com/Manali0711/Harvard-Artifacts-Collection-Data-Engineering-Analytics-App.git cd Harvard-Artifacts-Collection-Data-Engineering-Analytics-App pip install -r requirements.txt streamlit run app.py
依赖:streamlit、pandas、requests、mysql-connector-python、plotly、python-dotenv。应用默认地址为 http://localhost:8501,包含 ETL 管道、SQL Analytics、Visualizations 三个页面。
适用场景:学习或演示数据工程 ETL 实践、关系建模与 SQL 分析、博物馆藏品数据看板。限制:需自备 API 密钥与可用数据库;具体收费、价格、数据规模上限及平台兼容性暂未提供。