SuperAPI AI 工具集

alterlab-stable-baselines3

智能体与模型

查看项目

更新于 10-16 05:00

技能介绍

用途:该技能用于指导使用 Stable-Baselines3(SB3)训练和评估单智能体强化学习策略,支持 PPO、A2C、SAC、TD3、DDPG、DQN、HER,适用于 Gymnasium 环境。

主要能力:提供统一 API 训练智能体;将研究模拟器包装为自定义 gymnasium.Env 并用 check_env 校验;通过回调实现评估、检查点、早停和自定义日志;用向量化环境加速训练;保存、加载和复现训练好的智能体;支持学习率调度、n-step 回报、字典观测的 MultiInputPolicy、HER 和 TensorBoard。

使用方式:安装需 Python 3.10+ 和 PyTorch >= 2.8,命令为 uv pip install stable-baselines3 或 uv pip install "stable-baselines3[extra]"。基本训练模式为创建环境、初始化模型、调用 model.learn(total_timesteps=...)、model.save(...),加载时用 PPO.load("model_name", env=env)。自定义环境需继承 gymnasium.Env 并实现 init、reset、step、render、close,训练前运行 check_env(env, warn=True)。向量化环境可用 make_vec_env 配合 DummyVecEnv 或 SubprocVecEnv。

适用场景:标准单智能体 RL 训练、自定义环境开发、训练监控与评估、视频录制、模型持久化。

限制:不适用于每秒数百万步、原生多智能体或 PufferEnv/Atari 级吞吐场景;不支持 start!=0 的 Discrete 或 MultiDiscrete 空间;回放缓冲区不随模型保存;SubprocVecEnv 在 macOS/Windows 需置于 if name == "main" 下;视频录制要求 render_mode="rgb_array" 并安装 moviepy。部分高级特性需 SB3 >= 2.7。