SuperAPI AI 工具集

tao-train-single-step

数据与分析

查看项目

更新于 10-16 04:34

技能介绍

用途:为任意 TAO 模型提供标准的监督微调流程——在带标注数据集上训练预训练模型,可选评估,再可选导出,用于把预训练模型适配到新数据集,不涉及迭代数据增强、AutoML 或超参搜索。

主要能力:包含三个阶段。train 通过 AutoML 执行,当所选模型 automl_enabled: true 且 automl_policy 为 auto 时;设 automl_policy=off 可进行普通单次训练。eval 在 eval_dataset_uri 被解析后执行。export 可选,在训练后按用户请求执行。

必要用法:必需项包括 model(兼容的 TAO 模型,如 clip、nvdinov2、grounding_dino)、train_dataset_uri(训练数据集 URI,如 s3://bucket/train/)、platform(用 ${TAO_SKILL_BANK_PATH:-~/tao-skills-external}/scripts/list_tao_platforms.py --format text 生成可选平台列表后询问)以及容器镜像确认(从所选模型/动作配置解析默认镜像,展示给用户并需确认或提供 image=<override>,之后才能创建 runner 文件或提交训练)。可选项有 eval_dataset_uri、base_checkpoint(默认用模型技能列出的 NGC 预训练检查点,无则从零训练)、automl_policy(默认 auto)、image 覆盖。

使用流程:用户确认采用该标准工作流后,询问目标平台;在创建普通训练 runner 前,用 scripts/list_tao_models.py --scope automl --format json 或读取 skills/models/<network>/references/skill_info.yaml 检查模型元数据,若 automl_enabled 为 true 且存在有效 train schema,默认经 skills/applications/tao-run-automl 路由训练阶段,仅在 automl_policy=off、用户明确要求不用 HPO/AutoML、或 AutoML 启用但 train schema 未打包时走普通训练路径。还需询问是否保持长时间监控及状态更新间隔,默认启用、5 分钟。确定模型/动作后运行 scripts/resolve_tao_image.py --model <network> --action train --format text,询问使用解析镜像还是 image=<override>,镜像确认前不要创建 runner。平台选定后运行 scripts/list_tao_platforms.py --platform <platform> --format text,仅询问该平台及所选模型相关的凭证,不要询问无关平台凭证。

限制:部分模型技能可能将 eval_dataset_uri 标为必需,需先查看解析后的模型技能再决定是否视为可选;具体支持平台、模型清单及凭证细节暂未提供。