anymove-capture 是一个用于将双视角 AI 生成视频转换为游戏动画的工具。它读取每个视图中的关节位置,检查两个视图是否一致,然后使用 Blender 的正向运动学(在 torch 中实现)拟合骨骼姿态,最终导出可供游戏引擎使用的 GLB 动画文件。
用途
该工具旨在将包含两个视角(通常为正面和侧面)的 AI 生成视频片段,自动转换为带有骨骼动画的 3D 模型动画。适用于生物(如龙、蜘蛛、狼)的动作捕捉,例如咆哮、行走、攻击等。
主要能力
- 关节读取:使用针对特定生物训练的读取器,在视频的每一帧中检测每个视图的所有关节。
- 视图一致性检查:通过比较同一关节在两个视图中的高度相关性(爪部一致性得分)来验证两个视图是否同步。如果不同步,可进行时间扭曲校正。
- 姿态拟合:使用 Blender 的正向运动学,在关节限制范围内拟合欧拉角,同时优化两个视图的重投影误差。采用从粗到细的退火稳健损失(从 40 像素到 6 像素),能够处理大幅姿态(如坐下、后仰、猛击)。
- 导出:输出包括
det.npz(每帧每个视图的所有关节)、overlay.mp4(关节叠加视频)、motion.json(根路径和旋转、每骨骼欧拉角、米制关节位置)、render/animation.glb(带动画的骨骼绑定)、render/persp和render/side帧、showcase.mp4(展示视频)。 - 质量评估:提供爪部一致性得分(0.8 以上良好,0.5-0.8 需检查,0.5 以下可能失败)和重投影误差(正面 1-3 像素,侧面 2-8 像素为典型良好值)。
- 调试与修复:工具提供
--fix-swaps选项修复腿部标签交换,--no-align跳过时间扭曲,以及fit_check.py和plot_heights.py用于可视化调试。
使用方式
基本命令:tools/capture.sh <c> runs/<c>/videos/roar/s1/h3max.mp4 roar
该命令会处理视频并输出到 runs/<c>/clips/roar/ 目录。
对于展示渲染,可使用 Blender 命令行:
MOCAP_CREATURE=assets/<c> blender -b -P blender/apply_motion.py -- assets/<c>/rigged/rigged.blend \
assets/<c>/rigged/rig_info.json runs/<c>/clips/roar/motion.json runs/<c>/clips/roar/tile \
--views persp --samples 16 --res 1152x648 --cam -5.4,-6.0,1.4 --target 0,-0.3,1.5 --lens 32
调试视图命令:
python tools/fit_check.py VIDEO runs/<c>/clips/<name> out.jpg 10 40 80python tools/plot_heights.py runs/<c>/clips/<name>/det.npz out.png
两者都需要设置 MOCAP_CREATURE 环境变量。
适用场景
- 将 AI 生成的双视角生物视频转换为游戏动画。
- 适用于具有明确骨骼结构的生物,目前已知支持龙、蜘蛛、狼、恶魔等。
- 需要快速生成动画原型或游戏资产。
限制
- 输入视频必须包含两个视角(正面和侧面),且两个视图在时间上应对齐。
- 关节读取器需要针对特定生物训练,目前主要支持狼、龙等,其他生物需要扩展
mocap/solve.py中的LEGS定义。 - 地面惩罚仅支持爪部名称以
fpaw、ftoe、hpaw、htoe开头的生物(狼、龙),其他生物暂无地面约束。 - 拟合质量受视频质量影响,某些动作可能失败(如蜘蛛行走一致性得分仅 0.36-0.49)。
- 需要 Blender 环境进行渲染和导出。
- 时间扭曲对齐可能在某些情况下有害,可使用
--no-align跳过。 - 交换修复(
--fix-swaps)可能错误地修改正确标签,需谨慎使用并先检查。 - 展示渲染中的阴影捕捉器可能在 alpha 通道留下轻微降噪雾,合成时建议丢弃低于 10/255 的 alpha 值。
- 相机参数需根据生物调整,工具提供了龙、蜘蛛、恶魔的参考相机参数。