HandTracking 是一个用于第一人称（自我中心）视角视频的实时手部检测系统，基于 victordibia/handtracking 实现，并在 EgoHands 数据集上训练。它可以在视频流中检测手部边界框，并输出带手部标注的视频，适合 AR/VR 和可穿戴计算中基于手部交互系统的快速原型验证。配套的 JavaScript 库 Handtrack.js 可用于浏览器应用。
用途 该技能适用于以下场景：分析来自可穿戴相机或智能眼镜的第一人称视频；在第一人称视角视频中检测手部是否存在及位置；构建手势界面或交互系统；为手部检测模型标注训练数据；处理自我中心视频用于人机交互研究；生成带手部边界框叠加的标注视频；在 Web 应用中使用 Handtrack.js 实现实时手部检测；快速原型化基于手的 AR/VR 界面。当你需要快速、轻量的手部检测并输出边界框，且不需要关节级姿态估计时，可选择本技能。如果需要 3D 手部姿态关键点、手-物分割或多视角跟踪，则应考虑其他技能。
主要能力
- 第一人称视角手部检测：模型针对第一人称视角视频优化；输入为视频文件（MP4、AVI）或摄像头流；输出为带置信度的手部边界框（x, y, width, height）；使用轻量级 TensorFlow 模型；标准硬件上可实时处理；检测类型包括左手、右手分类；可视化使用红/绿边界框叠加在视频上。边界框格式为：{'bbox': [x, y, width, height], 'score': confidence, 'label': 'hand'}。
- 视频处理与标注：可处理整个视频文件并导出标注结果。工作流程包括克隆仓库、安装依赖（TensorFlow 1.x 兼容）、运行检测脚本，输出视频具有彩色边界框、实时帧率显示、置信度分数、跨帧平滑跟踪，并保存标注视频文件。
- 实时摄像头检测：可处理摄像头流用于交互式应用，支持显示、保存视频、置信度阈值等参数。适用于实时手势界面、交互装置、手部存在检测、手势控制系统。
- 浏览器端检测（Handtrack.js）：JavaScript 配套库，可在 Web 应用中使用相同模型技术。支持完全在浏览器运行、实时摄像头处理、基于 Canvas 的可视化、WebGL 加速，适用于视频文件和实时流。
安装与设置 Python 安装：克隆仓库，创建虚拟环境，安装 tensorflow==1.15.0、opencv-python、numpy、pillow，首次运行时模型会自动下载（约 20MB）。 JavaScript 安装：npm install handtrackjs，或直接从 CDN 使用。
使用方式 提供多个示例：处理视频并输出标注结果；提取手部区域并保存图像；实时检测并显示统计信息（手部数量、平均置信度）；浏览器端检测并绘制边界框。
与其他技能集成 可与 MediaPipe 技能（更高级手部姿态估计和手势识别）、基于 OpenCV 的视频处理技能、机器学习技能（构建自定义手势分类器）、XR/AR 框架技能配合使用。
模型规格 架构：轻量级 CNN 目标检测模型；框架：TensorFlow 1.x；训练数据集：EgoHands（4,800 张第一人称图像）；输入分辨率灵活（建议 640x480）；模型大小约 20MB；标准 CPU 上推理速度 30+ FPS（取决于分辨率）。在 EgoHands 测试集上：mAP 约 85%，召回率约 82%，精确率约 88%。
限制与注意事项 本技能仅提供边界框检测。如需 3D 手部姿态估计，可使用 ap229997-hands；如需手-物分割，可使用 owenzlz-egohos；如需多视角跟踪，可使用 facebookresearch-hot3d。已知限制：主要针对第一人称视角训练，第三人称视角性能可能下降；仅有边界框，无关节或手指级细节；需要 TensorFlow 1.x，不修改则不兼容 TF 2.x；模型虽在多样化手部上训练，但可能对某些人群存在偏差。升级方向包括 3D 手部关节位置、手-物交互分割、多视角或高精度 3D 跟踪、浏览器端 3D 手部跟踪。
性能优化 可通过降低输入分辨率加快处理，使用 GPU 加速，或批量并行处理多个视频。
故障排除 模型未自动下载时可手动从 GitHub 仓库下载并放入 models 目录；TensorFlow 版本冲突时使用虚拟环境安装 tensorflow==1.15.0；检测精度低时可调整置信度阈值（0.5-0.7），确保视频质量足够且为第一人称视角；处理速度慢时可降低分辨率、关闭其他应用或使用 GPU；未检测到手部时检查是否为第一人称视角、降低置信度阈值、改善光照条件。
参考与资源 GitHub 仓库：https://github.com/victordibia/handtracking；EgoHands 数据集论文：https://egohands.github.io；Handtrack.js 文档：https://github.com/victordibia/handtrack.js。相关项目包括 EgoHands 数据集、MediaPipe Hands、OpenPose。示例应用包括手势控制界面、手语检测、人机交互研究、AR/VR 手部跟踪、第一人称视频活动识别。
最佳实践 从本技能开始快速原型验证；在产品化前用自己的数据验证；实时应用考虑 GPU 加速；针对具体用例测试置信度阈值；选择合适的分辨率以平衡速度与精度；处理边界情况（无手、遮挡、多手）；对结果进行后处理（平滑、过滤、时序一致性）；在最终实现前对替代方案进行基准测试。
未来增强方向 可在领域特定的第一人称数据上微调模型；与手势识别流程集成；结合目标检测处理手-物交互；使用 Handtrack.js 扩展到浏览器应用；升级到 3D 姿态估计以获得更详细分析。