SuperAPI AI 工具集

harvard-artifacts-etl-streamlit-app

编程与开发

查看项目

更新于 10-15 17:32

技能介绍

用途:演示真实场景下的 ETL 流程与数据分析看板搭建。从哈佛艺术博物馆 API 分页提取藏品数据(含限速处理),将嵌套 JSON 转换为规范化的关系表,加载到 SQL 数据库,并通过 Streamlit 展示 20+ 条预定义 SQL 查询的可视化结果。

主要能力:API 集成支持分页与限速;ETL 转换将嵌套 JSON 归一化;以 MySQL/TiDB 作为存储,含 artifactmetadata、artifactmedia、artifactcolors 三张表结构;提供 20+ 条预定义 SQL 分析查询;用 Plotly 生成交互式图表。

使用方式:克隆仓库后安装依赖,设置 HARVARD_API_KEY、DB_HOST、DB_USER、DB_PASSWORD、DB_NAME 环境变量,运行 streamlit run app.py 启动应用。另可参考增量 ETL、指数退避重试、批处理控制内存等模式。

适用场景:学习数据工程全流程,或作为 API 数据采集、SQL 分析与看板开发的示例参考。

限制:需要哈佛艺术博物馆 API Key 与可用 MySQL/TiDB 数据库;仓库地址、具体字段与查询以公开资料为准;未提供收费、价格与效果承诺信息。