SuperAPI AI 工具集

BiWM

BiWM 是首个开源的极简训练框架,用于双向自回归视频世界模型。它通过两个训练阶段,将预训练的双向视频扩散模型转化为动作可控的自回归世界模型:阶段一进行包含 81 种离散相机动作的相机控制微调,阶段二进行少步 DMD 蒸馏,实现逐块自回归生成。与因果注意力流程不同,BiWM 在当前块及其历史内部保留完整的双向注意力,并在同一个模型中支持 t2v(文本到视频)、i2v(图像到视频)和 v2v(视频到视频)条件生成。框架支持 Wan2.1 / Wan2.2 与 HunyuanVideo-1.5 / LTX-2.3 等主干模型,采用 Apache License 2.0 发布。

访问官网

工具介绍

BiWM 是一个面向视频世界模型的开源极简训练框架,其核心定位是将预训练的双向视频扩散模型改造为动作可控的自回归世界模型。根据资料,它是首个此类开源训练框架。

用途方面,BiWM 面向双向自回归视频世界模型的训练与推理,支持文本到视频(t2v)、图像到视频(i2v)和视频到视频(v2v)三种条件生成,并在同一模型中实现。

主要能力与流程:框架通过两个训练阶段完成转化。第一阶段为相机控制微调,使用 81 种离散相机动作;第二阶段为少步 DMD 蒸馏,用于逐块(chunk-by-chunk)自回归生成。与因果注意力流程不同,BiWM 在当前块及其历史内部保留完整的双向注意力。相机动作由 translation * 9 + rotation 计算得到 action_label,从而产生 81 种组合动作。在动作注入方式上,动作路径将逐潜在帧的离散动作注入 AdaLN,同时保持字幕中不含相机描述。

支持的主干模型:Wan2.1 / Wan2.2,以及 HunyuanVideo-1.5 / LTX-2.3。资料提醒,Wan 与 HY15/LTX23 应使用独立的环境。其中 HY15 使用 Qwen2.5-VL,LTX23 使用 Gemma-3;HY15 的专门环境配置与故障排除参见 hunyuan/ENV_SETUP.md。Wan2.1 使用 scripts/wan21/ 下对应的脚本。HunyuanVideo-1.5 的离散动作训练需将基础权重放在 ckpts/HunyuanVideo-1.5 下再运行。

使用方式:资料提供了数据集的下载与预期目录结构说明,每条 JSON 记录包含仅场景字幕(scene-only caption)和 action_frames。所有脚本可从任意工作目录运行,会自动解析仓库根目录,并允许通过环境变量覆盖路径。常见可覆盖的环境变量包括 BIWM_VIDEO_DIR、BIWM_CAPTION_JSON、OUTPUT_DIR、PYTHON_BIN、MAX_TRAIN_STEPS 和 CHECKPOINTING_STEPS。资料还提及 Wan 蒸馏模型推理。具体安装与运行命令在资料中未完整给出,暂未提供。

项目建立在 FastVideo、minWM、Wan、HunyuanVideo-1.5 和 LTX-Video 之上,采用 Apache License 2.0 发布。

限制方面:资料明确要求不同主干使用独立环境;关于硬件要求、训练时长、显存需求、完整安装步骤等细节,暂未提供。