SuperAPI AI 工具集

harvard-artifacts-data-pipeline

数据与分析

查看项目

更新于 10-16 07:27

技能介绍

用途:本项目是一个端到端数据管道示例,演示从哈佛艺术博物馆 API 抽取藏品数据、转换为关系表、存入 MySQL/TiDB Cloud,并通过 Streamlit 仪表盘配 Plotly 图表进行交互分析。

主要能力:API 数据抽取(支持分页与限速)、嵌套 JSON 到关系模式的 ETL 转换、带外键的 SQL 数据库设计、20 多个预定义分析查询、交互式可视化仪表盘。

使用方式:先克隆仓库(git clone https://github.com/Manali0711/Harvard-Artifacts-Collection-Data-Engineering-Analytics-App.git),再运行 pip install -r requirements.txt 安装依赖(streamlit、pandas、requests、mysql-connector-python、plotly、python-dotenv)。通过环境变量配置 HARVARD_API_KEY、DB_HOST、DB_USER、DB_PASSWORD、DB_NAME;API 密钥从 https://docs.harvardartmuseums.org/ 获取,请求地址为 https://api.harvardartmuseums.org/object。启动命令为 streamlit run app.py,默认访问 http://localhost:8501。

数据模型:三张表 artifactmetadata(藏品元数据,objectid 为主键)、artifactmedia(图像媒体信息)、artifactcolors(颜色信息),后两者通过 objectid 外键关联。

限制:需自行申请 API 密钥与准备 MySQL/TiDB 数据库;API 存在速率限制,代码以延迟和指数退避处理;具体价格、配额与部署平台未提供。