SuperAPI AI 工具集

harvard-artifacts-collection-analytics-app

数据与分析

查看项目

更新于 10-16 07:27

技能介绍

用途:演示真实的数据工程流程,把哈佛艺术博物馆(Harvard Art Museums)API 的藏品数据经 ETL 处理后,放入关系数据库并做交互式分析可视化。

主要能力:从 API 抽取藏品元数据、图片媒体与颜色数据;把嵌套 JSON 转换为规范化的关系表;载入 MySQL/TiDB Cloud;执行分析型 SQL 查询;用 Plotly 交互图表展示结果;处理 API 分页与限流。数据库含三张表:artifactmetadata(藏品元数据)、artifactmedia(媒体)、artifactcolors(颜色及占比)。

使用方式:需 Python 3.7+,安装 streamlit、pandas、requests、mysql-connector-python、plotly、python-dotenv。

git clone https://github.com/Manali0711/Harvard-Artifacts-Collection-Data-Engineering-Analytics-App.git pip install -r requirements.txt streamlit run app.py

在 .env 中配置 HARVARD_API_KEY 与 DB_HOST、DB_PORT、DB_USER、DB_PASSWORD、DB_NAME。API key 需自行到哈佛艺术博物馆官网免费申请。应用界面提供 ETL 运行按钮,以及按文化、世纪、颜色等维度的查询与图表;也附有部门分布、有无媒体、分类分布、颜色分布、文化与世纪交叉等示例 SQL。

适用场景:数据工程教学与练手、ETL/SQL/可视化演示、博物馆藏品数据的探索性分析。

限制:需自备 API key 与可用的 MySQL/TiDB 数据库;未提供部署、性能、费用等说明;其余细节暂未提供。