harvard-artifacts-collection-data-engineering

用途：把哈佛艺术博物馆 API 的藏品数据做成可分析的结构化数据集并可视化。主要能力：分页与限流抓取 API 数据；将嵌套 JSON 抽取、转换、加载到关系表 artifactmetadata、artifactmedia、artifactcolors；提供 20+ 条预定义 SQL 分析查询（按文化、世纪、颜色分布、有无媒体等）；用 Plotly 与 Streamlit 构建交互仪表板。使用方式：git clone 仓库后进入目录，pip install -r requirements.txt 安装 streamlit、pandas、requests、mysql-connector-python、plotly；设置 HARVARD_API_KEY 及 DB_HOST、DB_PORT、DB_USER、DB_PASSWORD、DB_NAME 环境变量；按资料中的 SQL 建库建表；用 streamlit run app.py 启动仪表板，python etl_pipeline.py 单独跑 ETL。限制：需自备哈佛 API Key 与 MySQL 数据库；需处理速率限制、数据库连接、缺失字段与大数据内存问题；资料未提供价格、效果或平台兼容性信息。