SuperAPI AI 工具集

dewey

数据与分析

查看项目

更新于 10-15 21:37

技能介绍

用途:Dewey Data 是学术数据市场,一份机构平台订阅可解锁约40家供应商、约300个数据集,涵盖 POI、客流、移动性、消费交易、房地产与劳动力等。它不同于 SQL 仓库,数据以分区 Parquet/CSV.gz 文件形式通过 API 密钥下载,流程为发现数据集、读元数据、抽样、按日期分区与列过滤,再下载。

主要能力:提供 MCP 服务器(api.deweydata.io/mcp)用于搜索数据集、查看 schema 与抽样;deweypy(推荐)或 deweydatapy(旧版)用于脚本化批量下载;DuckDB 对预签名 URL 做选择性拉取;R 用 deweyr;小于 2.0 GB 的数据集可用 UI 下载 CSV。

必要用法:密钥从 app.deweydata.io → Connections → Add Connection → API Key 获取,存入环境变量 DEWEY_API_KEY 或 gitignore 文件(如 ~/.config/dewey/apikey),不得猜测、硬编码或提交密钥。每个数据集有独立 product path(prj_…),需从数据集页面或 MCP 搜索获得。下载前必须先 get_meta/get_download_info 了解分区、日期范围、文件数与大小,再抽样 100 行检查 schema,最后按 partition_key_after/before 与列过滤;大表用 DuckDB COPY TO 配合 WHERE 只拉所需行列。预签名链接 24 小时过期,多日大任务用 download_files1 逐页刷新;批量读取需分块约20文件并重试。

适用场景:需要 SafeGraph、Advan、dataplor、Veraset、Consumer Edge、GovFiles、LinkUp、ATTOM 等数据的研究与数据分析。

限制:部分供应商有额外条款需用户确认;MCP 工具仅在会话启动时加载,添加后需新会话;deweydatapy 的 external-api/v3 端点已失效;列名因供应商与版本而异,OPENED_ON/CLOSED_ON 等字段可能稀疏或为空。具体收费、价格与完整目录细节暂未提供。