用途:通过 Hugging Face Dataset Viewer API 对数据集进行只读探索与内容提取,适合快速查看、搜索、筛选和导出数据集,也可用于创建与上传自己的数据集。
主要能力:调用 /is-valid 验证数据集可用性;用 /splits 解析 config 与 split;用 /first-rows 预览前几行;用 /rows 配合 offset 和 length 分页(length 通常最大 100);用 /search 做文本匹配,用 /filter 做行谓词过滤并支持 orderby 排序;用 /parquet 获取 parquet 分片链接;用 /size 获取总量、/statistics 获取列统计,若可用还可取 /croissant 元数据。
使用方式:基础 URL 为 https://datasets-server.huggingface.co,默认方法 GET,查询参数需 URL 编码,offset 从 0 开始。示例:curl "https://datasets-server.huggingface.co/rows?dataset=stanfordnlp/imdb&config=plain_text&split=train&offset=0&length=100"。分页不完整时可参考 num_rows_total、num_rows_per_page、partial 字段继续翻页。
SQL 查询:可用 npx parquetlens 结合 Hub parquet 别名路径查询,别名形如 hf://datasets/<namespace>/<repo>@~parquet/<config>/<split>/<shard>.parquet,config、split、shard 可从 /parquet 结果推导。SQL 导出支持 CSV、JSON、Parquet 的 COPY 语句。
创建与上传:零依赖可在网页 https://huggingface.co/new-dataset 建仓并上传 parquet 文件;低依赖可用 npx @huggingface/hub upload datasets/<namespace>/<repo> ./local/parquet-folder data 上传,加 --private 可创建私有仓库,上传后调用 /parquet 获取分片信息。上传前需设置 export HF_TOKEN=<your_hf_token>。
限制:全部操作为只读、无副作用(上传流程除外);受门控或私有数据集需 Authorization: Bearer <HF_TOKEN>;长度等参数上限受 API 约束;未提供的收费、平台支持等信息暂未说明。