用途:帮助研究者从通用与领域仓库中定位、评估、下载和整理实验所需数据集,减少数据检索耗时,并保证引用与版本可追溯。
覆盖仓库:通用型包括 Kaggle、Hugging Face Datasets、Zenodo、Google Dataset Search、UCI ML Repository、Figshare、Dryad、ICPSR、Harvard Dataverse;领域型包括 NCBI GEO/ENA、NASA/SDSS、FRED/World Bank/IMF、NOAA/CMIP6、LDC/CLARIN、PhysioNet/MIMIC、PubChem/ChEMBL。
主要能力:
- Kaggle CLI 检索与下载:kaggle datasets list -s "sentiment analysis" --sort-by votes;kaggle datasets metadata -d stanford/imdb-review-dataset;kaggle datasets download -d stanford/imdb-review-dataset -p ./data/
- Hugging Face:使用 HfApi().list_datasets 搜索,load_dataset 加载,支持 streaming 与按 split 截取。
- Zenodo:通过 https://zenodo.org/api/records 按类型、许可、排序检索,读取标题、DOI、许可与文件大小。
- Google Dataset Search 无官方 API,仅可通过网页界面查询。
评估清单:检查完整性(缺失比例与是否随机)、准确性、一致性(日期/类别/单位)、时效性、样本量;核对许可是否允许商用、修改及署名要求。
可复现性:为数据集建 Data Card,记录名称、来源、版本、DOI、许可、下载日期、规模、描述、预处理与 BibTeX 引用;目录区分 raw/processed/external,使用带 SHA256 校验的下载脚本。
限制:Google Dataset Search 无官方 API;ICPSR 为受限 API;部分医学、社会科学数据需授权访问;许可条款以数据集页面为准,本技能不替代法律判断。具体价格与更多细节资料未提供。