用途:自动化适配Agent训练与推理后端,支持昇腾NPU上的MSRL(MindSpeed-RL)、VERL与vLLM框架,生成不依赖OpenCode即可独立运行的代码。
主要能力:
- 训练框架集成:MSRL使用mindspeed_rl的RayGRPOTrainer,支持GRPO与Actor-Critic结构,需RLConfig、MegatronConfig、GenerateConfig;VERL使用verl.trainer.ppo的RayPPOTrainer,支持PPO/GRPO/DPO,用OmegaConf配置。
- 推理引擎集成:vLLM(昇腾优化)支持离线推理LLM类、张量/流水线并行分布式推理和OpenAI兼容API服务,支持vllm-ascend后端。
- 模板系统:references目录提供msrl_train_template.py、verl_train_template.py、vllm_infer_template.py、pipeline_template.py,并可生成匹配框架要求的YAML/JSON配置。
必要用法与环境变量: export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 export CANN_VERSION=8.5.1 export PYTHONPATH=/usr/local/Ascend/pyACL:$PYTHONPATH 设备使用.npu()而非.cuda(),模块为torch_npu.npu,集合通信为hccl而非nccl。
适用场景:生成训练脚本(如VERL GRPO)、创建vLLM推理适配器、构建完整训练推理流水线。
限制:专为昇腾NPU设计,不适用于CUDA/GPU;生成代码不得导入agentic_rl、opencode等项目模块,仅使用mindspeed_rl、verl、vllm、transformers、torch、ray等公开API;具体版本兼容性、安装步骤与性能数据暂未提供。