SuperAPI AI 工具集

arkcli-datasets

数据与分析

查看项目

更新于 10-16 09:30

技能介绍

用途:通过 ArkCLI 管理精调所用数据集,涵盖创建 Dataset 及首个 V1、为已有 Dataset 创建新版本、查询与版本查询、更新、删除,以及下载版本中的 TOS 对象。可将 Dataset 接入精调任务,产出稳定的 <dataset-id>:<version-id> 引用;仅处理精调任务时应改用 arkcli-train-finetune 技能。

主要能力:从本地 .jsonl 文件或同一 TOS bucket 下的对象映射数据;依据基础模型精调配置解析 DatasetSchema 并做服务端校验;支持格式 LLMSft、LLMPretrain、LLMDPO、LLMRL、EmbeddingSft、ImageGenSft、VideoGenSft。

用法要点:先读取 arkcli-shared/SKILL.md 遵循认证、输出、安全、Client Preview 和二次确认规则;执行 arkcli auth status,认证失败按 shared skill 恢复;执行前读取目标叶子命令的 --help。--local 与 --tos-uri 互斥,本地输入仅 .jsonl 且最多 20 个文件,多个 TOS URI 须同一 bucket。创建与新增版本先逐个校验输入,随后 CreateDatasetVersion.Storage 须发送当前账号数值型 AccountID;CreateDatasetVersion 不发送 Name,正式版本号以服务端响应 Version 为准。version get --preview 每对象读取最多 102400 字节;下载不覆盖已有文件。删除前展示版本数、存储路径数及可获取的对象数与总字节数并单独确认。创建、版本创建、校验、下载、更新、删除支持叶子级 --dry-run,只读 list/get 不使用;Client Preview 仅展示离线计划。Volc 本地上传使用当前 profile 对应区域的 TOS endpoint 并启用 bucket rename。任一步失败保留已上传对象或已创建 Dataset,不臆造回滚。工作流细节见 references/commands.md、references/evals.md,仅在需要时加载。