用途:PufferLib 是面向高性能强化学习(RL)的库,用于快速并行环境模拟与训练,支持单智能体和多智能体任务,目标是把 RL 扩展到每秒数百万步以加速实验。
主要能力:PuffeRL 是优化的 PPO+LSTM 训练算法,据资料可达每秒 100 万至 400 万步;支持向量化并行模拟、原生多智能体环境、自定义 PufferEnv 环境开发、CNN/LSTM/自定义策略,以及 Ocean 套件中 20 多个预置环境。可与 Gymnasium、PettingZoo、Atari、Procgen、NetHack、Minigrid、Neural MMO、Crafter、GPUDrive、MicroRTS、Griddly 等集成。
使用方式:安装命令为 uv pip install pufferlib。训练可用 CLI,如 puffer train procgen-coinrun --train.device cuda --train.learning-rate 3e-4,也可用 torchrun --nproc_per_node=4 train.py 做分布式训练。Python 中通过 pufferlib.make 创建向量化环境,用 PuffeRL 创建训练器并循环调用 evaluate、train、mean_and_log。自定义环境继承 PufferEnv,实现 reset 和 step;策略为 PyTorch 模块,建议用 pufferlib.pytorch 的 layer_init 初始化。
适用场景:标准基准训练、多智能体学习、自定义任务开发和高吞吐性能优化。
限制:资料未提供收费、价格、平台支持范围等具体信息;性能数字为资料所述,实际效果可能因环境与配置而异。