用途:该技能帮助 AI 智能体搭建并操作一条完整的数据工程流水线,数据源为哈佛艺术博物馆 API,覆盖抽取、转换、加载、SQL 分析与可视化展示。
主要能力:通过 API 分页抓取文物数据并处理限流;将嵌套 JSON 转换为关系型结构,分别写入文物元数据、媒体、颜色三张表;内置 20+ 条预定义 SQL 查询,用于分析文化、世纪、媒介、颜色与部门分布;提供基于 Streamlit 的交互界面,用 Plotly 图表实时展示查询结果。
使用方式:克隆仓库后执行 pip install -r requirements.txt 安装依赖(streamlit、pandas、requests、mysql-connector-python、plotly、python-dotenv)。在 .env 中配置 HARVARD_API_KEY 及 DB_HOST、DB_PORT、DB_USER、DB_PASSWORD、DB_NAME。数据库需先建好 artifactmetadata、artifactmedia、artifactcolors 三张表。运行 ETL 脚本完成数据入库,再用 streamlit run app.py 启动仪表盘,默认访问 http://localhost:8501。
适用场景:博物馆或艺术类数据的采集与入库、SQL 分析查询练习、Streamlit 数据看板原型、ETL 教学示例。
限制:需要自行申请哈佛艺术博物馆 API 密钥并准备 MySQL/TiDB 数据库;API 存在速率限制,需重试与退避处理;资料未提供收费、价格、性能指标或部署平台信息。