用途:自动化 verl 的 msprobe 精度数据采集,覆盖训练采集、推理 rollout 采集和训推一致性三类场景。前置必做:先运行 bash scripts/ensure-msprobe-env.sh 检查 msprobe 环境(PyPI 包 mindstudio-probe,导入路径 msprobe.pytorch.PrecisionDebugger),仅检测可用 --no-install;安装失败须自行 pip install mindstudio-probe 并用 python3 -c "from msprobe.pytorch import PrecisionDebugger; print('OK')" 校验,未通过不得继续。
模式识别:bash scripts/detect-dump-mode.sh 输出 training、inference、consistency 或 unknown;无法判定时由用户选择。config.json 未指定 level 时默认 "level": "mix"。
训练采集(路径 A):不改 verl 源码,通过 global_profiler.tool=precision_debugger 与 precision_debugger.stages 分别采集 actor_compute_log_prob、ref_compute_log_prob、actor_update 三阶段,各阶段落盘到 {save_path}/step_{global_step}/{stage}/step0/rank0/dump.json;禁止在 config.json 设 dump_path;校验脚本 scripts/check-training-profiler.py。
推理采集(路径 B):必须 actor_rollout_ref.rollout.enforce_eager=True,推荐 TORCHDYNAMO_DISABLE=1。vLLM 不改源码,config.json 须含 dump_path,经 engine_kwargs.vllm.additional_config.dump_config_path 传入;SGLang 0.5.11 及以上用 msprobe_dump_config 传参,低版本需按官方文档 patch ModelRunner;两者不可混用。校验用 scripts/check-inference-dump.py 并指定 --backend。
训推一致性(路径 C):在推理采集基础上对训练 engine worker 打 patch,设置 DUMP_ON、PROMPTS_ONLY 等环境变量,并满足并行对齐约束:FSDP 推理 tensor_model_parallel_size 等于 rollout 卡数,Megatron 训练 TP/PP/EP 与 rollout 逐项一致,batch 相关取 1,ulysses_sequence_parallel_size 建议为 1。
限制:禁止在未确认 msprobe 可导入时配置或启动 dump;禁止 enforce_eager=False 下做推理 dump;禁止直接改用户原始训练脚本;patch 须打在实际运行的 verl 源码树。其他细节(如费用、平台支持范围)资料暂未提供。