HOT3D 是 Meta Facebook Research 提出的多视角 3D 手物交互跟踪系统与数据集，面向 Aria 智能眼镜和 Quest VR 头显等自我中心场景。其用途是对手部关节、被操作物体及其交互进行高精度三维跟踪，输出世界坐标系下的位置，并可在视频帧上渲染 3D 叠加、关节投影、手部网格与物体模型。
主要能力：多视角 3D 手部跟踪，提供 21 个关键点的 (x,y,z) 世界坐标、置信度、左右手识别、跨帧时序一致性与手部网格重建；物体 6DOF 位姿估计，含位置与旋转（四元数/旋转矩阵）、网格对齐与多物体支持；手物交互分析，含接触点检测、抓取类型分类、操作阶段检测及配合传感器数据的力量估计；可视化工具支持骨骼投影到各相机视图、手部网格与物体模型叠加、轨迹与多视角同步显示。官方称手部关节误差约 5-10mm，帧率 30-60Hz，延迟低于 100ms。
使用方式：克隆仓库并安装依赖。
git clone https://github.com/facebookresearch/hot3d.git cd hot3d pip install -r requirements.txt
关键依赖为 PyTorch3D、Open3D、vispy。数据集需注册后从 https://facebookresearch.github.io/hot3d/dataset.html 下载。运行示例：
python demo/visualize_tracking.py --sequence demo_sequence --output_dir ./visualizations
代码中可用 HOT3DTracker 加载序列、按帧读取手部姿态与物体位姿并调用 visualize_frame 保存可视化结果。
适用场景：XR 智能眼镜应用、3D 手部跟踪研究、高精度操作分析、新算法基准测试，也可与 hand-tracking-toolkit、Aria SDK、PyTorch3D、OpenXR 集成。
限制：需要多视角相机设置或 Aria/Quest 等专用硬件；计算密集，建议 NVIDIA RTX 3080 及以上 GPU；完整数据集存储达数 TB；数据集访问需注册；相比单视角方法配置更复杂；许可为 CC-BY-NC 4.0，仅限非商业使用。
项目页面：https://facebookresearch.github.io/hot3d；GitHub：https://github.com/facebookresearch/hot3d。数据集具体序列数量、标注细节等以官方页面为准，本资料未提供更完整信息。