用途:面向哈佛艺术博物馆 API 数据,演示从数据采集、ETL、关系型数据库建模到 SQL 分析与交互可视化的完整流程,供开发者搭建端到端数据工程管道。
主要能力:通过 requests 分页抓取藏品元数据(含限流),用 pandas 将嵌套 JSON 拆分为元数据、媒体、颜色三类结构化表;在 MySQL/TiDB Cloud 中建表并批量加载;内置 20+ 分析查询(按文化、世纪、部门、分类、颜色分布、图像尺寸等),可自动生成 Plotly 图表。
使用方式:克隆仓库并安装依赖 pip install -r requirements.txt;设置环境变量 HARVARD_API_KEY、DB_HOST、DB_USER、DB_PASSWORD、DB_NAME;API 密钥需在哈佛艺术博物馆 API 站点免费注册获取;运行 streamlit run app.py,访问 http://localhost:8501。
适用场景:数据管道教学、ETL 与 SQL 分析演示、博物馆藏品数据的探索式看板。
限制:需自备 API 密钥与数据库凭据;抓取受 API 限流影响;资料未提供具体价格、性能数据或其他平台支持信息。