SuperAPI AI 工具集

fine-tuning-serving-openpi

编程与开发

查看项目

更新于 10-15 19:53

技能介绍

用途:在公开 openpi 仓库上端到端微调并部署 Physical Intelligence 的 OpenPI 机器人策略模型(pi0、pi0-fast、pi0.5),覆盖空白机器环境搭建、JAX 训练、PyTorch 训练、检查点转换与策略推理服务。

主要能力:支持三种模型变体(pi0 为流匹配 VLA,pi0-fast 为自回归动作 token 更快,pi0.5 为改进视觉编码器的最新默认);双后端(JAX 官方训练、PyTorch 便于部署);配置驱动,参数集中在 src/openpi/training/config.py;训练前需预计算归一化统计;策略服务通过 WebSocket 提供低延迟推理。

必要用法:克隆仓库并安装:git clone --recurse-submodules https://github.com/Physical-Intelligence/openpi.git,随后 GIT_LFS_SKIP_SMUDGE=1 uv sync 与 GIT_LFS_SKIP_SMUDGE=1 uv pip install -e .。服务预训练策略:uv run scripts/serve_policy.py --env DROID。训练前先运行 uv run scripts/compute_norm_stats.py --config-name <config_name>,再执行 uv run scripts/train.py <config_name> --exp-name=<run_name> --overwrite。PyTorch 路径需先应用 transformers 补丁并转换 JAX 检查点,再运行 scripts/train_pytorch.py。客户端通过 openpi_client 的 WebsocketClientPolicy 连接并调用 infer。

适用场景:在 LeRobot 或 RLDS 数据集上微调 pi0/pi0-fast/pi0.5;为 ALOHA、DROID、LIBERO 提供策略服务;JAX 检查点转 PyTorch;排查归一化统计、显存与配置问题。

限制:资料未提供具体收费、价格与效果数据;显存与 GPU 要求以资料表格为准,训练需按配置调整;PyTorch 训练依赖对 transformers 的补丁,库变更后需重新应用;配置名须与 _CONFIGS 精确匹配。