SuperAPI AI 工具集
合作ENAI 行业资讯收藏
Skill 广场huggingface-datasets

huggingface-datasets

数据与分析

查看项目

更新于 10-16 04:37

技能介绍

用途

本技能用于执行 Hugging Face Dataset Viewer 的只读 API 调用，面向数据集探索与内容提取的工作流。同时覆盖数据集创建与上传流程，以及智能体会话追踪的上传与浏览。

主要能力

Dataset Viewer 部分提供以下接口：

  • /is-valid：验证数据集可用性
  • /splits：解析子集（config）与拆分（split）
  • /first-rows：预览首行
  • /rows：使用 offset 与 length 分页（length 通常最大 100）
  • /search：文本匹配
  • /filter：按谓词过滤行，可配合排序
  • /parquet：获取 parquet 链接
  • /size：获取总量
  • /statistics：获取列统计
  • /croissant：获取 Croissant 元数据（如可用）

默认约定：基础 URL 为 https://datasets-server.huggingface.co，默认方法 GET，查询参数需 URL 编码，offset 从 0 开始，行类接口 length 通常最大 100。受限或私有数据集需要 Authorization: Bearer <HF_TOKEN>。

分页模式示例： curl "https://datasets-server.huggingface.co/rows?dataset=stanfordnlp/imdb&config=plain_text&split=train&offset=0&length=100" curl "https://datasets-server.huggingface.co/rows?dataset=stanfordnlp/imdb&config=plain_text&split=train&offset=100&length=100" 当分页部分返回时，可使用响应字段如 num_rows_total、num_rows_per_page 与 partial 驱动续取逻辑。

搜索与过滤说明：/search 匹配字符串列（全文样式行为由 API 内部实现）；/filter 的 where 需要谓词语法，orderby 可选排序。过滤与搜索应保持只读且无副作用。若需基于 CLI 发现 parquet URL 或执行 SQL，可配合 hf-cli 技能使用 hf datasets parquet 与 hf datasets sql。

使用方式

Dataset Viewer 的常用调用顺序为：可选用 /is-valid 验证数据集可用性，使用 /splits 解析 config 与 split，使用 /first-rows 预览，使用 /rows 配合 offset 与 length 分页，使用 /search 做文本匹配、/filter 做行谓词过滤，使用 /parquet 获取 parquet 链接，使用 /size 与 /statistics 获取总量与元数据。

创建与上传数据集可按依赖条件选择流程： 零本地依赖（Hub 网页界面）：在浏览器创建数据集仓库（https://huggingface.co/new-dataset），在仓库的 Files and versions 页面上传 parquet 文件，然后验证分片是否出现在 Dataset Viewer： curl -s "https://datasets-server.huggingface.co/parquet?dataset=<namespace>/<repo>"

低依赖 CLI 流程（npx @huggingface/hub / hfjs）： 设置认证令牌： export HF_TOKEN=<your_hf_token> 上传 parquet 文件夹到数据集仓库（仓库不存在时自动创建）： npx -y @huggingface/hub upload datasets/<namespace>/<repo> ./local/parquet-folder data 创建时上传为私有仓库： npx -y @huggingface/hub upload datasets/<namespace>/<repo> ./local/parquet-folder data --private 上传后调用 /parquet 发现 <config>/<split>/<shard> 值，以便用 @~parquet 查询。

智能体追踪

Hub 支持来自 Claude Code、Codex 与 Pi Agent 的原始智能体会话追踪。将它们以原始 JSONL 文件上传到 Hugging Face Datasets，Hub 可自动检测追踪格式、将数据集标记为 Traces，并启用追踪查看器以浏览会话、轮次、工具调用与模型响应。常见本地会话目录： Claude Code：~/.claude/projects Codex：~/.codex/sessions Pi：~/.pi/agent/sessions 默认应使用私有数据集仓库，因为追踪可能包含提示词、文件路径、工具输出、密钥或 PII。应保留原始 .jsonl 文件，并按项目/cwd 嵌套，而非把所有会话上传到数据集根目录。 示例命令： hf repos create <namespace>/<repo> --type dataset --private --exist-ok hf upload <namespace>/<repo> ~/.codex/sessions codex/<project-or-cwd> --type dataset

适用场景

适用于数据集可用性验证、子集与拆分发现、首行预览、分页读取、文本搜索、谓词过滤、parquet 文件发现与下载、数据集规模与列统计获取、Croissant 元数据获取等只读探索与提取任务；也适用于数据集仓库创建、parquet 上传，以及智能体会话追踪的上传与浏览。

限制

查询参数需 URL 编码；offset 从 0 开始；行类接口 length 通常最大 100；受限或私有数据集需要提供 Authorization: Bearer <HF_TOKEN>；过滤与搜索保持只读。创建与上传时，使用 CLI 流程需要设置 HF_TOKEN，私有仓库需显式 --private。追踪数据默认使用私有仓库，且需保留原始 .jsonl 文件并按项目/cwd 嵌套组织。