SuperAPI AI 工具集

harvard-artifacts-collection-etl-analytics

数据与分析

查看项目

更新于 10-16 07:27

技能介绍

用途:面向哈佛艺术博物馆 API 数据,演示从数据采集、ETL、关系型数据库建模到 SQL 分析与交互可视化的完整流程,供开发者搭建端到端数据工程管道。

主要能力:通过 requests 分页抓取藏品元数据(含限流),用 pandas 将嵌套 JSON 拆分为元数据、媒体、颜色三类结构化表;在 MySQL/TiDB Cloud 中建表并批量加载;内置 20+ 分析查询(按文化、世纪、部门、分类、颜色分布、图像尺寸等),可自动生成 Plotly 图表。

使用方式:克隆仓库并安装依赖 pip install -r requirements.txt;设置环境变量 HARVARD_API_KEY、DB_HOST、DB_USER、DB_PASSWORD、DB_NAME;API 密钥需在哈佛艺术博物馆 API 站点免费注册获取;运行 streamlit run app.py,访问 http://localhost:8501。

适用场景:数据管道教学、ETL 与 SQL 分析演示、博物馆藏品数据的探索式看板。

限制:需自备 API 密钥与数据库凭据;抓取受 API 限流影响;资料未提供具体价格、性能数据或其他平台支持信息。