SuperAPI AI 工具集

harvard-artifacts-etl-streamlit-analytics

数据与分析

查看项目

更新于 10-16 07:27

技能介绍

用途:面向数据工程与分析场景,指导 AI 编码代理协助开发者搭建以哈佛艺术博物馆 API 为数据源的完整应用,包括 ETL 管道、SQL 数据库设计、分析查询与 Streamlit 交互式仪表盘。

主要能力:通过 API 分页抓取文物数据并做速率限制处理;将文物元数据、媒体信息与颜色数据转换后加载进 MySQL 或 TiDB Cloud 关系表;提供按文化、世纪、媒体可用性、颜色、部门等维度的预置分析查询;用 Streamlit 与 Plotly 展示查询结果,并支持增量加载、数据校验、分块加载、连接池与指数退避重试等模式。

使用方式:需 Python 3.8+、MySQL 或 TiDB Cloud 数据库及哈佛 API 密钥。安装步骤为克隆仓库、执行 pip install -r requirements.txt、设置 HARVARD_API_KEY、DB_HOST、DB_USER、DB_PASSWORD、DB_NAME 等环境变量,然后运行 streamlit run app.py。依赖包括 streamlit、pandas、requests、mysql-connector-python、plotly、python-dotenv。

适用场景:适合学习或演示数据工程全流程、构建博物馆文物分析看板、练习 SQL 聚合查询与可视化。

限制:需自行申请 API 密钥并遵守其每日请求额度;数据库连接信息与密钥需自行配置;资料未提供具体收费、价格或性能指标。