SuperAPI AI 工具集

isaaclab-training-rl-agents

智能体与模型

查看项目

更新于 10-15 22:38

技能介绍

用途:当用户需要为 Isaac Lab 任务训练、恢复、评估或配置强化学习时使用。若需从零设计环境观测、奖励或重置,应先用 isaaclab-building-environments 构建环境;若训练行为或奖励指标已失败,改用 isaaclab-debugging-rl-training;多 GPU、多节点或 NCCL 分布式问题改用 isaaclab-training-multi-gpu。

主要能力与流程:先确定已注册任务名、工作流类型、动作空间、观测空间、目标后端、设备与目标 RL 框架;阅读 RL 训练指南与教程后再写命令或配置;从 source/isaaclab_tasks/isaaclab_tasks/ 下与框架和任务族匹配的现有智能体配置起步;不同框架的配置格式需分开,不要混用 RSL-RL 的 Python 配置与 RL-Games、SKRL、SB3 的 YAML/配置。命令中使用无后缀任务名,如 Isaac-Cartpole。

使用方式:在 Isaac Lab 检出目录中,使用 uv run isaaclab train 和 uv run isaaclab play,而非 scripts/reinforcement_learning/ 下已弃用的各库脚本。省略 --rl_library 时加载任务注册的 default_agent,传入该参数可选择其他库。也可用 isaaclab_rl 的 train/play 函数配合 TrainingRequest/PlaybackRequest 从 Python 驱动。play 会应用环境配置的 play_mode()(通常将环境数上限设为 50 并禁用观测噪声或损坏),可在任务配置中覆盖该方法自定义回放。

适用场景与限制:追求最快无头训练时省略可视化标志,仅在需要显式可视化时用 --viz;扩大环境数、时域、网络规模或日志集成前先跑小规模冒烟训练;视觉观测需先确认传感器管线与渲染器要求;多后端任务先在一个后端验证。记录任务、框架、后端、种子与配置覆盖以便复现。验证清单包括:任务能脱离训练运行器重置与步进、智能体配置属于目标框架、小环境数短训练、初始运行产出预期工件后再恢复或加载检查点、检查日志中的设备、观测形状、动作形状与后端错误。技能变更时运行 uv run --no-project python tools/skills/cli.py check。维护需与 docs/source/concepts/reinforcement_learning.rst、安装文档、docs/source/how-to/ 下 RL 教程及 source/isaaclab_tasks/isaaclab_tasks/ 下智能体配置保持同步。