用途:指导把新的模型架构接入 NeMo AutoModel,覆盖稠密 LLM、MoE 与 VLM 三类,按阶段推进实现与验证。
主要能力与流程: 一、发现。读取 Hugging Face 的 config.json,关注 architectures、model_type、hidden_size、intermediate_size、num_hidden_layers、attention 头数、vocab_size、tie_word_embeddings、hidden_act。含 ForCausalLM 且无 expert 字段判为稠密 LLM;含 n_routed_experts、num_local_experts、num_experts_per_tok 判为 MoE;含 vision_config、text_config 且为 ForConditionalGeneration 判为 VLM。参考 llm-patterns.md、moe-patterns.md、vlm-patterns.md,并对照 llama、qwen2、deepseek_v3、mistral4、kimivl、kimi_k25_vl、qwen3_moe、nemotron_v3 等已有实现。 二、实现。在 components/models/<name>/ 下创建 init.py、model.py、state_dict_adapter.py,按需增加 config.py、layers.py、rope_utils.py,并按依赖顺序实现。在 _transformers/registry.py 的 MODEL_ARCH_MAPPING 注册;有自定义配置时在 _CUSTOM_CONFIG_REGISTRATIONS 注册。 三、示例配置。在 examples/llm_finetune/<name>/ 或 examples/vlm_finetune/<name>/ 添加最小 YAML,并用 NeMoAutoModelForCausalLM.from_pretrained 验证可加载。 四、测试。在 tests/unit_tests/models/<name>/ 加前向形状冒烟测试、state_dict 适配器往返测试、被改写层等价测试、损失下降功能测试。 五、文档。更新 docs/model-coverage/ 下 llm 或 vlm 的 index.md。 六、对等验证。做 state_dict 往返、组件级对等、端到端前向对等三层比较。
MoE 安全清单:路由器张量单独映射;保持 routed-expert 索引顺序,不排序、丢弃、合并或静默 reshape;显式映射 gate/up/down 投影及共享专家;不只用 from_pretrained() 验证。
边界:仅用于新增或修改架构支持(模型文件、自定义层、state_dict 适配器、HF 配置映射、注册项、能力标志);优化器、数据集、调度器、并行策略、launcher 与通用 recipe 编写不属于本技能。
限制:完整代码示例与各 pattern 文件内容以原仓库为准,此处不展开;具体支持特性与限制需查阅对应文档。