用途:把 grover_base 检查点(兼容旧版 grover.encoders.* 与现代 kermt.encoders.*,可带或不带 vocab 头)转换为完整 hybrid(cMIM + vocab)检查点,并在用户语料上以 hybrid 模式继续预训练。适合想在已有预训练编码器上加入 SMILES 重建对比目标、避免 kermt-pretrain-scratch 从头训练的场景。已有 hybrid 或 cmim 检查点应改用 kermt-continue-pretrain。
主要能力与用法:流程为检查系统、校验检查点(check_checkpoint --mode upgrade_to_hybrid)与语料(check_data --mode pretrain)、用 prepare_data --mode pretrain(不加 --vocab-dir,使 vocab 从语料新建)、运行 upgrade_to_hybrid.py 生成 /runs/upgraded.pt,再用 run_detached 启动 run_pretrain_local.py 继续预训练;运行器据 model_type: hybrid 自动分派 --pretrain_mode hybrid --vocab_loss_weight 1.0 并接入 smiles_vocab。输入需 --ckpt 与 --csv,可选 --val-csv(否则按 --val-frac 0.1 自动切分)、超参覆盖、--vocab-loss-weight、--latent-dim、--contrastive-temperature、--wandb-project/--wandb-run-name、--gpus。
限制:状态为实验性,未针对论文的从零 hybrid 训练做基准对比,生产使用前需自行在下游基准验证。升级步骤约 5 秒且仅用 CPU,后续继续预训练才用 GPU,显存需求与 kermt-continue-pretrain 相同。绝不修改输入检查点;vocab 头总是丢弃并按新语料重建;backbone 非 gtrans 时需人工确认,不可静默放宽 --backbone。含 contrast 头或任务 FFN、或已被微调的检查点会被拒绝;缺 smiles_vocab、编码器加载出现多余 act_func_* 键等有对应提示。成功运行后 run.json 会记录升级摘要以便审计与复现。