SuperAPI AI 工具集

anymove-capture

编程与开发

查看项目

更新于 11-04 16:17

技能介绍

anymove-capture 是一个用于将双视角 AI 生成视频转换为游戏动画的工具。它读取每个视图中的关节位置,检查两个视图是否一致,然后使用 Blender 的正向运动学(在 torch 中实现)拟合骨骼姿态,最终导出可供游戏引擎使用的 GLB 动画文件。

用途

该工具旨在将包含两个视角(通常为正面和侧面)的 AI 生成视频片段,自动转换为带有骨骼动画的 3D 模型动画。适用于生物(如龙、蜘蛛、狼)的动作捕捉,例如咆哮、行走、攻击等。

主要能力

  1. 关节读取:使用针对特定生物训练的读取器,在视频的每一帧中检测每个视图的所有关节。
  2. 视图一致性检查:通过比较同一关节在两个视图中的高度相关性(爪部一致性得分)来验证两个视图是否同步。如果不同步,可进行时间扭曲校正。
  3. 姿态拟合:使用 Blender 的正向运动学,在关节限制范围内拟合欧拉角,同时优化两个视图的重投影误差。采用从粗到细的退火稳健损失(从 40 像素到 6 像素),能够处理大幅姿态(如坐下、后仰、猛击)。
  4. 导出:输出包括 det.npz(每帧每个视图的所有关节)、overlay.mp4(关节叠加视频)、motion.json(根路径和旋转、每骨骼欧拉角、米制关节位置)、render/animation.glb(带动画的骨骼绑定)、render/persp 和 render/side 帧、showcase.mp4(展示视频)。
  5. 质量评估:提供爪部一致性得分(0.8 以上良好,0.5-0.8 需检查,0.5 以下可能失败)和重投影误差(正面 1-3 像素,侧面 2-8 像素为典型良好值)。
  6. 调试与修复:工具提供 --fix-swaps 选项修复腿部标签交换,--no-align 跳过时间扭曲,以及 fit_check.py 和 plot_heights.py 用于可视化调试。

使用方式

基本命令:tools/capture.sh <c> runs/<c>/videos/roar/s1/h3max.mp4 roar

该命令会处理视频并输出到 runs/<c>/clips/roar/ 目录。

对于展示渲染,可使用 Blender 命令行:

MOCAP_CREATURE=assets/<c> blender -b -P blender/apply_motion.py -- assets/<c>/rigged/rigged.blend \
  assets/<c>/rigged/rig_info.json runs/<c>/clips/roar/motion.json runs/<c>/clips/roar/tile \
  --views persp --samples 16 --res 1152x648 --cam -5.4,-6.0,1.4 --target 0,-0.3,1.5 --lens 32

调试视图命令:

  • python tools/fit_check.py VIDEO runs/<c>/clips/<name> out.jpg 10 40 80
  • python tools/plot_heights.py runs/<c>/clips/<name>/det.npz out.png

两者都需要设置 MOCAP_CREATURE 环境变量。

适用场景

  • 将 AI 生成的双视角生物视频转换为游戏动画。
  • 适用于具有明确骨骼结构的生物,目前已知支持龙、蜘蛛、狼、恶魔等。
  • 需要快速生成动画原型或游戏资产。

限制

  • 输入视频必须包含两个视角(正面和侧面),且两个视图在时间上应对齐。
  • 关节读取器需要针对特定生物训练,目前主要支持狼、龙等,其他生物需要扩展 mocap/solve.py 中的 LEGS 定义。
  • 地面惩罚仅支持爪部名称以 fpaw、ftoe、hpaw、htoe 开头的生物(狼、龙),其他生物暂无地面约束。
  • 拟合质量受视频质量影响,某些动作可能失败(如蜘蛛行走一致性得分仅 0.36-0.49)。
  • 需要 Blender 环境进行渲染和导出。
  • 时间扭曲对齐可能在某些情况下有害,可使用 --no-align 跳过。
  • 交换修复(--fix-swaps)可能错误地修改正确标签,需谨慎使用并先检查。
  • 展示渲染中的阴影捕捉器可能在 alpha 通道留下轻微降噪雾,合成时建议丢弃低于 10/255 的 alpha 值。
  • 相机参数需根据生物调整,工具提供了龙、蜘蛛、恶魔的参考相机参数。