SuperAPI AI 工具集

huggingface-datasets

数据与分析

查看项目

更新于 10-27 02:31

技能介绍

用途:该技能面向 Hugging Face Dataset Viewer 的只读 API 调用,用于数据集探查与内容提取;同时包含数据集创建与上传的可选流程。适用于用户目标与上述上游工作流相符、且任务需要本技能所记录步骤的场景。

主要能力:可校验数据集可用性(/is-valid)、解析 config 与 split(/splits)、预览首行(/first-rows)、按 offset 与 length 分页读取行(/rows,length 通常上限 100)、按文本匹配(/search)、按行谓词过滤并可选排序(/filter,where 与 orderby)、列出 parquet 分片(/parquet)、获取大小总量(/size)、获取列统计(/statistics),以及获取 Croissant 元数据(/croissant,如可用)。

使用方式:默认基础 URL 为 https://datasets-server.huggingface.co,默认方法 GET,查询参数需 URL 编码,offset 从 0 开始。分页示例:curl "https://datasets-server.huggingface.co/rows?dataset=stanfordnlp/imdb&config=plain_text&split=train&offset=0&length=100",下一页将 offset 改为 100。当分页不完整时,可用响应中的 num_rows_total、num_rows_per_page、partial 等字段驱动继续逻辑。/search 匹配字符串列,/filter 需在 where 中使用谓词语法、在 orderby 中可选排序,过滤与搜索保持只读、无副作用。门控或私有数据集需 Authorization: Bearer <HF_TOKEN>。若需基于 CLI 发现 parquet URL 或执行 SQL,使用 hf-cli 技能中的 hf datasets parquet 与 hf datasets sql。

创建与上传:零本地依赖可通过 Hub 页面在 https://huggingface.co/new-dataset 创建数据集仓库,并在“Files and versions”页上传 parquet 文件,之后用 curl 调用 /parquet 验证分片是否出现在 Dataset Viewer。低依赖 CLI 流程使用 npx @huggingface/hub:设置 export HF_TOKEN=<your_hf_token>,执行 npx -y @huggingface/hub upload datasets/<namespace>/<repo> ./local/parquet-folder data 上传(仓库不存在时自动创建),创建为私有仓库可加 --private。上传后调用 /parquet 发现 <config>/<split>/<shard> 值,以便用 @~parquet 查询。

智能体会话轨迹:Hub 支持来自 Claude Code、Codex 与 Pi Agent 的原始会话轨迹,以原始 JSONL 上传至 Hugging Face Datasets 后,Hub 可自动识别轨迹格式、将数据集标记为 Traces 并启用轨迹查看器,用于浏览会话、轮次、工具调用与模型响应。常见本地会话目录:Claude Code 为 ~/.claude/projects,Codex 为 ~/.codex/sessions,Pi 为 ~/.pi/agent/sessions。轨迹包含私有提示、文件、工具输出,可能含密钥或第三方信息;只读探查不构成上传授权。针对明确的轨迹导出请求,应仅选择指定会话、准备脱敏导出,并在传输前核实实际目标可见性与保留策略;使用 --private/--exist-ok 创建并不能证明已存在的仓库为私有,并应在本地保留原始文件。

适用场景:数据集字段与分片探查、样例行预览、分页抽取、文本检索与条件过滤、parquet 分片定位、列统计与规模评估、通过 Hub 或 CLI 上传 parquet 数据集、以及受控条件下的会话轨迹导出。

限制:本技能为导入的上游技能,执行前需核实凭据、权限与安全边界;不替代特定环境的验证、测试或维护者审查。