SuperAPI AI 工具集

data-acquisition-specialist

数据与分析

查看项目

更新于 10-15 23:58

技能介绍

用途:为科研工作收集并交付原始数据集。技能结合官方Python数据获取库与自由网页抓取脚本,覆盖静态与动态内容。

主要能力:金融数据使用yfinance(Yahoo Finance)与ccxt(加密交易所API);经济与社会数据使用pandas_datareader(连接FRED、World Bank、OECD);机器学习与NLP数据使用datasets(Hugging Face Datasets)与kaggle(Kaggle API)。抓取采用双模式:优先API或urllib、requests、BeautifulSoup等轻量HTTP方式,并使用伪装User-Agent与session/cookie处理;若内容由JavaScript动态加载、存在基础机器人防护或需复杂UI交互,则回退到通过chrome-devtools MCP进行浏览器自动化,可使用puppeteer_navigate、puppeteer_click、network_get_requests等检查网络载荷。若chrome-devtools未启用,要求按需执行npx -y chrome-devtools-mcp@latest或py bin/mcp_auto_updater.py。遇到高级验证码、桌面软件验证或需GUI自动化时,可借助computer-use技能控制鼠标键盘。

使用方式:可安装缺失的Python依赖;结果须以.csv、.json或.sqlite保存于项目目录,并为每个数据集生成元数据文件(如 [nama_dataset]_metadata.json),记录来源URL、采集日期与列/数据模式说明。

限制与规则:禁止用静态代码生成虚构或占位CSV/JSON,必须获取真实数据;若两种模式均失败或被阻断,应报告错误并停止。避免固定过短sleep,使用显式等待或DevTools动态加载事件;不要保存未结构化的原始数据。具体价格、授权范围与平台限制暂未提供。