SuperAPI AI 工具集

harvard-artifacts-etl-analytics

数据与分析

查看项目

更新于 10-16 07:27

技能介绍

该技能帮助开发者为哈佛艺术博物馆 API 数据构建端到端 ETL 管道与分析应用,数据流程为 API → ETL → SQL → Analytics → Visualization。主要能力包括:从 API 分页抽取文物数据并做速率限制,将嵌套 JSON 转换为规范化的关系表,加载到 MySQL/TiDB Cloud,内置 20 多个预定义分析 SQL 查询,并用 Streamlit 与 Plotly 交互式图表展示结果。

使用方式:先克隆仓库并安装依赖(streamlit、pandas、requests、mysql-connector-python、plotly、python-dotenv): git clone https://github.com/Manali0711/Harvard-Artifacts-Collection-Data-Engineering-Analytics-App.git cd Harvard-Artifacts-Collection-Data-Engineering-Analytics-App pip install -r requirements.txt

随后在项目根目录创建 .env,配置哈佛 API Key(HARVARD_API_KEY)与数据库连接(DB_HOST、DB_PORT、DB_USER、DB_PASSWORD、DB_NAME)。需在哈佛艺术博物馆注册获取 API Key。数据库需先建库以及 artifactmetadata、artifactmedia、artifactcolors 三张表。运行应用命令为:streamlit run app.py,仪表板默认在 http://localhost:8501 打开。

适用场景为博物馆藏品数据的抽取、清洗、入库与可视化分析。限制包括:资料未提供具体收费、价格与效果信息;API 存在速率限制,需在请求间加延时;数据库依赖 MySQL/TiDB Cloud;部分功能细节暂未提供。