SuperAPI AI 工具集

harvard-art-museum-data-engineering

数据与分析

查看项目

更新于 10-16 07:27

技能介绍

用途:为哈佛艺术博物馆 API 提供完整的数据工程方案,流程为 API → ETL → SQL → 分析 → 可视化,适合学习或搭建藏品数据分析应用。

主要能力:分页抽取藏品数据(可只取有图像的记录);将 JSON 转换为 artifactmetadata、artifactmedia、artifactcolors 三张关系表;批量写入 MySQL/TiDB;提供按文化、世纪、部门、颜色等维度的分析查询;Streamlit 看板支持选择分析、展示表格、自动生成 Plotly 柱状图并导出 CSV。

使用方式:克隆仓库并安装依赖,pip install -r requirements.txt,或 pip install streamlit pandas requests mysql-connector-python plotly python-dotenv。在项目根目录创建 .env,配置 HARVARD_API_KEY 及 DB_HOST、DB_PORT、DB_USER、DB_PASSWORD、DB_NAME。API Key 需在 https://docs.api.harvardartmuseums.org/ 免费注册获取。运行 streamlit run app.py,访问 http://localhost:8501。

限制与注意:需自行准备可用的 MySQL/TiDB 数据库与 API Key;资料未提供具体收费、性能指标或部署平台信息。建议使用环境变量保存凭据、分页抓取、批量插入、对 API 限流做重试、加载前校验数据并为常用查询列建索引。