SuperAPI AI 工具集

harvard-artifacts-data-engineering-analytics

数据与分析

查看项目

更新于 10-16 07:27

技能介绍

用途:该项目是一套完整的数据工程与分析应用,围绕哈佛艺术博物馆 API 演示从数据抽取到可视化看板的端到端流程,适合学习 ETL、SQL 建模与分析呈现。

主要能力:Extract 阶段从哈佛艺术博物馆 API 分页拉取藏品数据并做限流;Transform 阶段把嵌套 JSON 转换为元数据、媒体、颜色三类关系表;Load 阶段批量写入 MySQL/TiDB Cloud;Analyze 阶段内置 20 余条预设 SQL 分析查询;Visualize 阶段用 Streamlit 与 Plotly 渲染交互式看板。数据库含 artifactmetadata、artifactmedia、artifactcolors 三张表,以外键关联。

使用方式:克隆仓库后执行 pip install -r requirements.txt,并设置环境变量 HARVARD_API_KEY、DB_HOST、DB_USER、DB_PASSWORD、DB_NAME(可选 DB_PORT)。需要从哈佛艺术博物馆 API 获取 API Key。启动命令为 streamlit run app.py,默认访问 http://localhost:8501。侧边栏可触发 ETL 流程,选择分析查询后运行并自动生成柱状图。

适用场景:数据工程教学与练习、ETL 与 SQL 分析演示、博物馆藏品数据探索。

限制:依赖 API Key 与可用的 MySQL/TiDB 数据库;官方未提供收费与价格信息;API 存在限流(429 时需增大请求间隔);部分字段缺失需在转换阶段处理;大数据集需分批处理。具体效果与性能指标暂未提供。