SuperAPI AI 工具集

egohos-segmentation

通用与其它

查看项目

更新于 10-16 05:03

技能介绍

用途:EgoHOS 面向第一人称(egocentric)视频,做像素级手部与所操作物体的分割,把视频帧中的手、物体和背景按像素区分开,便于分析手物交互与接触区域。相比只给边界框或关键点的方法,它输出更精细的轮廓与掩码。

主要能力:输出 hand_mask(手部二值掩码)、object_mask(物体二值掩码)、combined_mask(多类别掩码),以及 hand_bbox、object_bbox;可生成带彩色半透明叠加的标注视频;可计算机手与物体掩码的交集,得到接触像素数、手部覆盖率、物体覆盖率,并据此判断抓取等时刻;支持批量处理多段视频与批量导出训练用掩码。

使用方式:克隆 https://github.com/owenzlz/EgoHOS.git 并进入目录后,安装依赖 pip install torch torchvision opencv-python numpy pillow,下载预训练模型(如 bash scripts/download_models.sh 或 python scripts/download_pretrained_models.py),再运行 python demo.py --video egocentric_video.mp4 --output_dir ./output --overlay_masks --save_video。代码中通过 EgoHOS() 初始化、load_model('checkpoints/model.pth') 加载模型,再调用 segment(frame) 得到掩码、create_overlay(frame, masks) 生成叠加。

适用场景:手物操作与交互分析、接触区域研究、生成分割训练数据、精细活动识别、需要精确手部轮廓的交互理解系统,以及参考中的 HCI 与机器人等方向。

限制:专门针对第一人称手物交互;严重遮挡、光照不佳或手物边界不明显时效果可能下降;单帧处理,视频时间一致性需后处理;推荐使用 GPU,资料标注推理速度约 10–20 FPS;模型约 150MB、输入分辨率典型为 512x512、框架为 PyTorch。收费、价格与商业授权信息暂未提供,公开资料给出的 mIoU 约 80%、像素准确率约 92%、边界 F-score 约 85%,实际表现需在自有数据上验证。