用途:面向机器学习研究任务,从多个来源发现相关数据集。支持 HuggingFace Hub、OpenML、GitHub、Semantic Scholar 论文交叉引用,输出经去重与相关性排序的列表。
主要能力:先明确研究任务、模态(image/text/tabular/audio/any)、规模偏好(small <10K、medium 10K–1M、large >1M、any)与许可证偏好;再执行搜索;结果以 Markdown 表格呈现,含名称、来源、下载量、大小、许可证、标签、URL,按相关性从高到低排序。可对单个数据集查看详情,生成 metadata.json 与 README.md;也可拉取样例行,生成 sample.jsonl。
使用方式:搜索命令为 python3 scripts/search_ml_datasets.py search --query "<query>" --sources huggingface,openml,github,papers --max 30,可选 --modality、--workspace(默认 ./datasets/discovery/)。详情命令为 python3 scripts/search_ml_datasets.py detail --dataset-id "huggingface:stanfordnlp/imdb" --workspace ./datasets/discovery/。拉取命令为 python3 scripts/search_ml_datasets.py pull --dataset-id "huggingface:stanfordnlp/imdb" --sample-rows 20 --workspace ./datasets/discovery/。完整下载需先与用户确认,再使用 huggingface-cli download 或等效方式。也可选用 HF MCP 工具 hub_repo_search(repo_types: ["dataset"])做语义搜索补充。
适用场景:为情感分析、医学图像分割等研究任务寻找数据集;按模态、规模、许可证筛选;需要可追溯的搜索结果与样本预览时。
限制与约定:依赖 Python 3.8+、requests;GitHub 来源需要 gh CLI。脚本为可选辅助,仅在依赖可用时运行,输出应保存在项目工作区,不得写回技能目录;相对路径从技能目录解析;执行前优先检查而非直接修改;若运行时、CLI、凭据或 API 不可用,应说明阻塞并给出人工回退方案。未提供具体收费、价格与效果数据。