SuperAPI AI 工具集

hand-tracking

通用与其它

查看项目

更新于 10-15 19:55

技能介绍

用途:在 AR/VR 应用中实现实时手势检测与追踪,用于手势控制界面、远程协作、无障碍交互以及实时物体操作等场景,适合需要低延迟的实时摄像头输入。

主要能力:基于 MediaPipe Hands 等预训练模型进行手部姿态估计,每只手最多 21 个关键点;识别捏合、挥手、滑动等常见手势,阈值可配置;支持摄像头或 AR/VR 设备摄像头输入,帧率最高 60 FPS;输出 JSON 格式的手部关键点与手势事件;可通过配置文件自定义模型与最低置信度(如 0.5)。

使用方式:需先设置环境变量 export OPENCLAW_API_KEY=your_api_key。CLI 示例:claw hand-track --input /dev/video0 --model mediapipe --confidence 0.7;保存输出:claw hand-track --input file.mp4 --output results.json --gestures pinch,wave;也可通过 --config path/to/config.json 加载配置。API 端点包括 POST /api/hand-track 与 GET /api/hand-track/status(需 Authorization: Bearer $OPENCLAW_API_KEY)。代码中可导入 OpenClaw SDK,在循环中调用追踪函数并处理异步操作。

适用场景:AR/VR 手势控制、视频手势分析、Unity 集成(使用 OpenClaw Unity 插件订阅手部事件)、Web 应用配合 WebRTC 摄像头流。

限制与注意:需有效 API 密钥,缺失时返回 401;输入源需兼容,建议摄像头分辨率至少 640x480;自定义模型需通过 /api/hand-track/models 上传;低置信度检测应设置阈值并记录警告;网络等瞬时错误可用指数退避重试。具体收费、价格与平台支持范围暂未提供。