LeRobot 是 Hugging Face 推出的一个开源机器人 AI 框架,目标是让机器人 AI 更容易上手,采用端到端学习方式。项目以 PyTorch 为基础,面向真实世界机器人,提供模型、数据集与工具,希望降低入门门槛,使所有人都能贡献并受益于共享数据集与预训练模型。
用途方面,LeRobot 旨在为真实机器人提供统一的训练与部署框架,解决机器人领域的数据碎片化问题,并推动物理 AI 的民主化。它通过标准化接口和数据集格式,让开发者可以在不同硬件和策略之间复用数据采集、训练、可视化工具。
主要能力包括:
- 硬件无关、Python 原生的统一 Robot 类接口,将控制逻辑与硬件细节解耦,标准化跨平台控制,覆盖从低成本机械臂(SO-100)到人形机器人。原生支持的硬件有 SO100、LeKiwi、Koch、HopeJR、OMX、EarthRover、Reachy2、游戏手柄、键盘、手机、OpenARM、Unitree G1、reBot B601。库本身设计为可扩展,用户可实现 Robot 接口,为自己的自定义机器人使用 LeRobot 的数据采集、训练和可视化工具。
- 标准化的 LeRobotDataset 格式,使用同步的 MP4 视频(或图像)存储视觉信息、Parquet 文件存储状态与动作数据,托管在 Hugging Face Hub 上,支持海量机器人数据集的高效存储、流式传输与可视化。配套工具支持无缝删除 episode、按索引或比例切分、增删特征、合并多个数据集。
- 用纯 PyTorch 实现的最先进策略,涵盖模仿学习、强化学习、视觉-语言-动作(VLA)模型、世界模型和奖励模型,且已有策略被证明可迁移到真实世界,可直接训练和部署。训练策略只需运行脚本配置;用户也可自行实现策略,复用 LeRobot 的采集、训练、可视化工具,并将模型分享到 HF Hub。
- 推理与评估:提供统一评估脚本,可在仿真或真实硬件上评估策略,支持 LIBERO、MetaWorld 等标准基准,并可通过 EnvHub 文档实现并分发自定义仿真环境或基准。
- 第三方硬件生态:除原生支持的硬件外,社区维护了不断增长的插件生态,覆盖其他机器人、遥操作设备、相机与传感器,包括 UFACTORY xArm、Universal Robots UR5e、Franka、AgileX Piper、Trossen WidowX、ARX5、I2RT YAM、GELLO、SpaceMouse、Meta Quest、ROS 2 桥接、触觉与深度相机等。插件按包名自动发现:LeRobot 会导入任何已安装的、以 lerobot_robot_、lerobot_teleoperator_ 或 lerobot_camera_ 为前缀的包,安装后可直接在 CLI 中使用其注册的类型。
使用方式方面,LeRobot 可直接从 PyPI 安装,详细安装指南见安装文档。训练策略只需运行脚本配置。推理与评估使用统一评估脚本。文档提供完整教程与 API,另有 LeRobot+SO-ARM101 中文教程(同济子豪兄),涵盖组装、遥操作、数据集、训练、部署,经 Seed Studio 和 5 位全球黑客松选手验证。社区还提供 LeLab——一个 LeRobot 的 Web 界面,无需 CLI,即可在浏览器中遥操作、校准、录制数据集、回放和训练 SO 机械臂。此外还有免费的机器人学习实践课程、T 恤折叠端到端演示等资源。社区交流可通过 Discord 和 X 进行。
适用场景:真实机器人(尤其是低成本机械臂与人形机器人)的数据采集、遥操作、模仿学习与强化学习训练、视觉-语言-动作模型部署、仿真与真机基准评估,以及机器人学习教学与研究。
限制方面,资料未提供具体的收费或价格信息(项目为开源,但资料未明确收费模式细节);GPU/RAM 需求与各策略预期训练时间需参考计算硬件指南;部分硬件与第三方插件由社区维护,非官方原生支持。具体支持的策略清单、数据集数量等细节,资料未完全列出。