SuperAPI AI 工具集

authoritative-data-harvester

数据与分析

查看项目

更新于 10-16 09:56

技能介绍

用途:在数学建模任务中快速找到权威、可引用、可复现的公开数据源,尽量少爬网页,优先 API 或官方批量下载,交付数据获取方案、原始与清洗数据、数据字典与引用信息。

主要能力:需求归一化,输出含变量名、单位、频率、时间范围、地区粒度与替代指标的数据需求表;按任务类型匹配权威源(World Bank、IMF、OECD、UNData、WHO、NOAA、NASA、Eurostat、各国统计局等);按有 API 直接调用、无 API 则批量下载、仅网页表格才做 HTML 解析的决策树选择访问方式;交付参数化脚本,带重试、超时、速率限制、缓存与断点;完成字段统一、类型转换、单位与时间对齐、缺失与异常校验;输出 raw 与 processed 数据、sources.json 数据字典与可引用格式。

使用方式:启动或继续正式任务前必须运行 python .claude/skills/paper-workflow-orchestrator/scripts/workflow_guard.py --skill authoritative-data-harvester;若输出 [WORKFLOW FAIL] 或 status 非 PASS 则停止并回补前置阶段。仅写入自己契约范围内的 paper_output/ 产物,数据保存到 crawled_data/raw/ 与 crawled_data/processed/,来源信息保存为 crawled_data/sources.json。完成后回到 paper-workflow-orchestrator 判断下一步,并调用 context-memory-keeper 记录新增数据源与存放路径。

适用场景:需要官方统计、国际组织、政府开放数据;需要可复现抓取流程;已有变量清单但缺数据或需补充替代指标。

限制:不得绕过登录、付费或验证码,需遵守服务条款与速率限制;无法自动获取时只能给出同级权威替代源、口径差异与人工下载路径,不得以无来源或不可引用数据冒充权威数据;本技能不负责写论文正文,数据需经 data-cleaning-and-visualization 清洗并生成 paper_output/figures/ 证据图表后方可进入论文。