SuperAPI AI 工具集

harvard-artifacts-etl-pipeline

数据与分析

查看项目

更新于 10-16 07:27

技能介绍

用途:该技能帮助开发者围绕哈佛艺术博物馆 API 构建端到端数据工程管道,流程为 API → ETL → SQL → 分析 → 可视化,目标产出可交互的分析仪表盘。

主要能力:使用分页抓取文物数据(仅取有图像的记录);将嵌套 JSON 拆解为 artifactmetadata、artifactmedia、artifactcolors 三张关系表;批量写入 MySQL/TiDB Cloud;执行按世纪、文化、部门、颜色分布、媒体可用性、浏览量等分析 SQL;用 Plotly 在 Streamlit 中展示图表。

使用方式:克隆仓库 https://github.com/Manali0711/Harvard-Artifacts-Collection-Data-Engineering-Analytics-App.git ,运行 pip install -r requirements.txt 安装依赖,也可安装 streamlit pandas requests mysql-connector-python plotly python-dotenv。在项目根目录创建 .env,配置 HARVARD_API_KEY、DB_HOST、DB_PORT、DB_USER、DB_PASSWORD、DB_NAME。随后建表、运行 ETL,最后用 streamlit run app.py 启动应用(默认 http://localhost:8501)。API 需 apikey 参数,抓取时可用 page、size、hasimage 控制。

适用场景:博物馆/开放 API 的数据管道教学与原型、SQL 分析练习、Streamlit 仪表盘演示。

限制:需自备哈佛 API Key 和可访问的 MySQL/TiDB 数据库;示例中媒体高度/宽度可能为空;未提及收费、价格或性能指标,暂未提供。