SuperAPI AI 工具集

harvard-artifacts-collection-data-engineering-analytics

数据与分析

查看项目

更新于 10-16 07:27

技能介绍

用途:演示从哈佛艺术博物馆 API 抽取藏品数据、转换为结构化关系表、载入 MySQL/TiDB Cloud,并用 Streamlit 构建交互式分析仪表板的完整数据工程流程。

主要能力:处理 API 分页与限流;将嵌套 JSON 经 ETL 转为关系数据;设计含外键的 SQL 库表结构;提供 20+ 条分析型 SQL 查询;支持交互式可视化。数据分为 artifactmetadata、artifactmedia、artifactcolors 三张表,分别存藏品元数据、图像信息与颜色占比。

使用方式:先克隆仓库并安装依赖:git clone https://github.com/Manali0711/Harvard-Artifacts-Collection-Data-Engineering-Analytics-App.git,装依赖 pip install -r requirements.txt。依赖包括 streamlit、pandas、requests、mysql-connector-python、plotly、python-dotenv。在项目根目录创建 .env,填写 HARVARD_API_KEY、DB_HOST、DB_PORT、DB_USER、DB_PASSWORD、DB_NAME=harvard_artifacts。随后初始化库表、运行 ETL、执行分析查询,最后用 streamlit run app.py 启动,默认访问 http://localhost:8501。

适用场景:数据工程学习与作品演示、藏品元数据与颜色等维度的探索性分析。

限制:需自备哈佛 API Key 与数据库连接信息;API 存在速率限制;较大数据集需注意内存与批量写入性能;资料未提供许可、成本、部署平台及具体运行效果说明。