用途:为哈佛艺术博物馆 API 构建完整数据工程方案,按 API → ETL → SQL → 分析 → 可视化 的架构流程处理文物数据。
主要能力:ETL 管道抽取文物元数据、媒体与颜色数据;使用 MySQL 或 TiDB Cloud 存储;内置 20+ 条分析 SQL 查询(按文化、世纪、部门、颜色、媒体可用性、分类等维度);提供带 Plotly 图表的 Streamlit 交互仪表盘,包含 ETL、分析与可视化三个标签页。
使用方式:克隆仓库后进入目录,运行 pip install -r requirements.txt 安装依赖;在项目根目录创建 .env,配置 HARVARD_API_KEY 及 DB_HOST、DB_PORT、DB_USER、DB_PASSWORD、DB_NAME;建表后运行 ETL,再通过 streamlit run app.py 启动仪表盘,默认访问 http://localhost:8501。
适用场景:艺术藏品元数据采集与分析、文化/年代/颜色等维度的探索性统计、数据工程教学示例。
限制:需自备哈佛 API Key 与数据库连接信息;依赖 versions 未在资料中说明,需以仓库 requirements.txt 为准;速率限制可用指数退避重试,但资料未给出配额与定价信息;运行环境与部署细节暂未提供。