SuperAPI AI 工具集

rn-human-motion-extractor

设计与创作

查看项目

更新于 10-16 03:44

技能介绍

用途:将获授权参考视频的指定片段转换为可复用的运动数据,保留动作与时间节奏,不打包源人物的外观、声音、字幕或素材作为身份资产。仅可用于用户有权分析的公开或本地参考。

主要能力:提取33个MediaPipe姿态关键点与每只检测到的手21个关键点,包含原始坐标与置信度感知的平滑坐标,以及归一化图像x/y、相对z、可见度、帧索引和时间戳。短缺失区间可插值,长遮挡保持缺失,不虚构手指动作。输出含motion-keypoints.json与.npz、extraction-stats.json、media-probe.json、叠加预览与纯骨架MP4、contact-sheet.jpg。

使用方式:先用ffprobe确认输入文件、范围、宽高、fps、时长、帧数与音频;在隔离环境安装依赖:uv venv --python 3.12 .venv 与 uv pip install --python .venv/bin/python -r <skill-dir>/scripts/requirements.txt;再运行 .venv/bin/python <skill-dir>/scripts/extract_motion.py --input <reference.mp4> --output <private-project-dir>/motion-extraction --start 0 --duration 10。省略--duration则处理至结尾,--no-overlay可跳过身份保留的QC预览。

适用场景:需要从参考视频获取人体与手部轨迹作为控制信号或动作素材时。预览约定:黄色为身体,蓝/红为左右手,细灰为低置信度身体节点。

限制:本技能只提取证据,不保证生成视频模型会遵循每个关键点;手指被遮挡、模糊、出画或低于置信度阈值时不得称为“精确手部动作”,应报告覆盖率。需分别报告身体与左右手覆盖率。设计卡片、连接线、排版与UI动效应转rn-motion-replica,全帧复刻声明应转rn-replica-qc。完成门槛包括范围/fps/帧数一致、JSON每帧一条、两个MP4可解码且时长匹配、contact sheet已目视检查、置信度缺口与遮挡被报告而非被平滑掩盖。本技能不涉及付费生成任务。