用途:从用户提供的 KERMT 预训练检查点继续预训练,支持 grover_base、cmim、hybrid 三类。技能本身是工作流编排器:校验输入、准备语料、启动运行器并返回运行目录,不阻塞在长时间训练上,返回后可用 kermt-monitor 查看进度。
主要能力与输入:必需参数为 --csv(单列 smiles 的预训练 CSV),可选 --val-csv。检查点通过 --ckpt 指定;省略时需用户明确同意才下载已发布的混合模型 nvidia/NV-KERMT-70M-v2(约 282 MB),或用 --pretrained-release 非交互式启用,二者互斥。下载目录由 --model-dir 决定,默认 $KERMT_REPO/models/NV-KERMT-70M-v2/,完整包会被复用。
运行模式:默认是全新调度继续预训练,加载模型权重与优化器状态,但重置调度步数、epoch、batch 计数与 wandb run id;--resume 为真正恢复,从 save_model_for_restart 格式的 ckpt 恢复全部状态,此时任何调度类 CLI 覆盖都会被硬报错拒绝。
硬件与限制:需要 1–N 张 CUDA NVIDIA GPU,默认 --batch-size 256 面向 A100 80GB 级别;显存较小需下调,如 16–24GB 建议 32–64,40–48GB 建议 128。磁盘需数十 GB。宿主需支持 CUDA 12.6。--gpus 使用 torch.cuda 索引,可能与 nvidia-smi 顺序不同。
流程要点:先执行 check_system 并拒绝在 ok:false 时继续;计算 RUN_DIR;解析并校验 ckpt 与数据;准备数据时将 ckpt 的词表透传(从 ckpt 父目录自动识别三个词表文件,部分或缺失需显式指定,否则应拒绝以避免词表头不匹配);估算耗时并确认;以 run_detached 启动;最后报告容器名、run.json 路径、日志与 TensorBoard 目录。
硬性规则:未经同意不得下载已发布模型;不得修改用户输入 ckpt;不得静默覆盖架构参数;run.json 的 args_applied 会回显各参数来源,ok_to_replay 为 false 时重放可能非逐位一致。
常见错误:finetuned ckpt 被拒并重定向到相关流程;grover_base 无词表头会重定向到 kermt-add-cmim-pretrain;prepare 清单缺少必要输出多因 --skip-vocab 或 --skip-split;--gpus all 不可用需安装 nvidia-container-toolkit。具体收费、价格与更多平台信息暂未提供。