SuperAPI AI 工具集

kermt-pretrain-scratch

通用与其它

查看项目

更新于 10-16 07:24

技能介绍

用途:在用户提供的语料上从零预训练一个全新的 KERMT 模型,基于语料构建新词表并按默认架构实例化模型。适合在已发布检查点未覆盖的自定义化学领域重训练,或端到端复现预训练配置。若只是延续已有检查点,应使用 kermt-continue-pretrain;为仅编码器 grover_base 检查点添加 cMIM 解码器则用 kermt-add-cmim-pretrain。

主要能力与输入:必需 --csv(含 smiles 列的预训练语料,约定单文件)与 --pretrain-target-mode {vocab|cmim|hybrid},无默认值必须显式指定:vocab 为 GROVER 风格原子与键词表预测;cmim 为对比加 SMILES 重建目标,需从语料构建 SMILES 词表;hybrid 为两者联合。可选 --val-csv、--val-frac、--seed,以及 --epochs、--batch-size、--init-lr、--max-lr、--final-lr、--warmup-epochs、--weight-decay、--dropout、--save-interval、--vocab-loss-weight、--latent-dim、--contrastive-temperature、--wandb-project、--wandb-run-name、--gpus 等覆盖项,未给出的从 agent/config/defaults_pretrain.json 填充。

使用方式:先做容器与系统预检,计算 RUN_DIR,用 check_data.py 校验语料,再用 prepare_data.py 准备数据(输出 vocab_source 为 built_fresh),随后估算运行时间并警告,确认后用 run_detached 启动 run_pretrain_local.py,需带 --from-scratch 且不能带 --ckpt。运行后报告容器名与 id、run.json、日志 $RUN_DIR/logs/pretrain_ddp.log、TensorBoard 目录 $RUN_DIR/logs/tb,并建议用 kermt-monitor 查看进度。

限制:硬件要求与 kermt-continue-pretrain 相同,默认 --batch-size 256 面向 A100 80GB 级别,小显存需下调;磁盘需数十 GB;从零预训练在 1100 万分子语料 100 轮上即使多 GPU 也通常需数天,成本远高于继续预训练。资料未提供具体价格、平台支持范围或效果指标。