该技能提供在 Megatron Bridge 中验证 HuggingFace(HF)与 Megatron(MCore)模型转换正确性的决策框架,核心是三级测试策略与结果判读。
用途:确认转换后权重精确往返、前向 logits 强相关并预测相同下一 token,并可选验证训练步的 loss 下降。
主要能力与用法: 第一级单 GPU 权重往返(精确匹配,max_diff==0.0): uv run python examples/conversion/hf_megatron_roundtrip.py --hf-model-id <org>/<model> 多 GPU(TP/PP)版本: uv run python -m torch.distributed.run --nproc_per_node=2 examples/conversion/hf_megatron_roundtrip_multi_gpu.py --hf-model-id <org>/<model> --tp 2 脚本内可用 weights_verification_table(bridge, hf_pretrained, megatron_model)。
第二级前向相关性(GPU/bfloat16,要求下一 token 一致且余弦相似度≥0.99): uv run python -m torch.distributed.run --nproc_per_node=2 examples/conversion/compare_hf_and_megatron/compare.py --hf_model_path <org>/<model> --tp 2 --prompt "The capital of France is" 大模型 OOM 时可改用文本生成做推理合理性检查: hf_to_megatron_generate_text.py(不测量 logit 相关性)。
第三级训练对齐(可选):用 2 层小模型验证几步训练 loss 下降。
限制与说明:往返转换是纯张量重塑,故要求精确匹配;绝对 logit 差仅作诊断,不作为通过/失败门槛。工具位于 examples/conversion/。失败时先单 GPU 往返,再查 TP/PP 与 provider_bridge 配置。完整陷阱清单见 add-model-support 技能。