用途:通过 Hugging Face Dataset Viewer API 对数据集进行只读探索与提取,并支持创建、上传数据集。
主要能力:校验数据集可用性(/is-valid);列出子集与切分(/splits);预览首行(/first-rows);分页读取行(/rows,offset 从 0 开始,length 通常最大 100);文本搜索(/search);按谓词过滤(/filter,where 与 orderby);获取 parquet 分片链接(/parquet);获取总量与元数据(/size、/statistics);获取 Croissant 元数据(/croissant)。
使用方式:基础地址为 https://datasets-server.huggingface.co,默认 GET,查询参数需 URL 编码。分页示例:curl "https://datasets-server.huggingface.co/rows?dataset=stanfordnlp/imdb&config=plain_text&split=train&offset=0&length=100",下一页将 offset 改为 100。分页不完整时可依据 num_rows_total、num_rows_per_page、partial 继续。SQL 查询用 npx parquetlens,parquet 别名形如 hf://datasets/<namespace>/<repo>@~parquet/<config>/<split>/<shard>.parquet,可从 /parquet 结果推导;示例:npx -y -p parquetlens -p @parquetlens/sql parquetlens "hf://datasets/<namespace>/<repo>@~parquet/<config>/<split>/<shard>.parquet" --sql "SELECT * FROM data LIMIT 20"。导出可用 COPY 语句输出 CSV、JSON 或 Parquet。上传数据集可走 Hub 网页(https://huggingface.co/new-dataset),或用 npx -y @huggingface/hub upload datasets/<namespace>/<repo> ./local/parquet-folder data,加 --private 创建私有仓库。
适用场景:数据集预览、分页抽取、文本检索、条件过滤、SQL 分析与导出、数据集上传。
限制:操作保持只读、无副作用;受门控或私有数据集需 Authorization: Bearer <HF_TOKEN>;搜索匹配字符串列,过滤需谓词语法;行类端点 length 通常上限 100。其他细节暂未提供。