SuperAPI AI 工具集

pufferlib

通用与其它

查看项目

更新于 10-15 23:43

技能介绍

PufferLib 是强化学习环境与训练框架。本技能提供按版本区分的指引,使用前须先确定版本:5.0 原生分支(C/CUDA 环境、原生训练器,仅 CPU 评估,读 references/native-5.md),3.0.0 PyPI 发布(2025-06-23,仅 sdist,Python/Gymnasium/PettingZoo 适配与 Torch PuffeRL),固定 4.0 源码快照(C Ocean 接口,可选 Torch 回退)。

用途:编写与校验 Gymnasium/PettingZoo 环境、向量化、策略与 PuffeRL 训练、评估及检查点审查。

主要能力:捆绑无依赖、输出严格 JSON 的脚本,如 python3 scripts/env_contract_validator.py、benchmark_vectorization.py、train_template.py、validate_plan.py、inspect_checkpoint.py 等;默认合成、确定性、本地 CPU、无网络、dry-run。

使用方式:3.0 安装需 uv venv --python 3.11 后 uv add --exact --no-sync "pufferlib==3.0.0"、uv lock、uv sync --frozen,并校验 sha256;4.0 应固定 commit。3.0 用 pufferlib.emulation.GymnasiumPufferEnv 或 PettingZooPufferEnv 包装,向量化用 pufferlib.vector.make,训练 import pufferl 并构造 PuffeRL。4.0 CLI 为 puffer train/eval/sweep ENV_NAME。

限制:不得按点路径导入任意环境或执行未审查包、原生扩展、ROM、检查点;训练/评估种子分离,资源需设上限;默认本地日志,外部日志需显式选择与披露确认,凭证只经环境变量(如 WANDB_API_KEY),禁止写入参数或日志;检查点加载前须哈希校验并沙箱化,不得用 latest。Neptune 已于 2026-03-05 停止,规划器拒绝其配置。PyPI 元数据未固定 Torch 或 CUDA 版本,不得声称支持的 CUDA 矩阵;3.0 训练器存在截断与惰性智能体掩码处理问题。安装命令与训练示例均为说明性、未执行。缺失事实暂未提供。