SuperAPI AI 工具集

Wan2.1

Wan2.1 是阿里巴巴开源的大规模视频生成模型套件,包含 14B 和 1.3B 等多种参数版本,采用 Apache 2.0 许可,支持自托管部署。它覆盖文本生成视频、图片生成视频、首尾帧生成视频、视频编辑、文本生成图片和视频生成音频等多种任务,在多个基准测试中表现优于现有开源模型及部分商业方案。其中 T2V-1.3B 模型仅需 8.19 GB 显存,可在 RTX 4090 上约 4 分钟生成 5 秒 480P 视频,兼容多数消费级 GPU。Wan2.1 是首个能生成中英文文字的 video 模型,并配套高效的 Wan-VAE,可对任意长度 1080P 视频进行编解码并保留时序信息。

访问官网

工具介绍

Wan2.1 是阿里巴巴开源的一套视频基础模型,定位为开放且先进的大规模视频生成工具,代码、权重和推理代码均已公开,采用 Apache 2.0 许可,可自行托管。其核心能力包括文本生成视频、图片生成视频、首尾帧生成视频、视频编辑、文本生成图片以及视频生成音频。官方称其在多个基准上持续优于现有开源模型和领先的商业方案。

模型规格方面,Wan2.1 提供 14B 与 1.3B 等多种参数版本,支持 480P 和 720P 分辨率。T2V-1.3B 仅需 8.19 GB 显存,可在 RTX 4090 上约 4 分钟生成 5 秒 480P 视频(未使用量化等优化手段),对消费级 GPU 较为友好。Wan2.1 是首个能够生成中英文文字的 video 模型。其配套的 Wan-VAE 可对任意长度的 1080P 视频进行编码和解码并保留时序信息。

功能与任务方面,文本生成视频支持 1.3B 和 14B 模型;图片生成视频支持 14B 模型;首尾帧生成视频支持 14B 模型,目前仅支持 720P,且因训练以中文文本-视频对为主,官方建议使用中文提示词以获得更好效果。视频编辑方面,2025 年 5 月发布 Wan2.1 VACE,作为一体化的视频创作与编辑模型,提供推理代码、权重和技术报告,支持 1.3B 和 14B 模型及 480P、720P 分辨率。此外,Wan2.1 已集成到 Diffusers 和 ComfyUI,并提供 Gradio 演示。

使用方式上,需先克隆仓库并安装依赖,再通过 huggingface-cli 或 modelscope-cli 下载模型。单 GPU 推理时,若遇到显存不足,可使用 --offload_model True 和 --t5_cpu 选项降低显存占用。T2V-1.3B 建议设置 --sample_guide_scale 6,--sample_shift 可在 8 到 12 之间调整。多 GPU 推理采用 FSDP 与 xDiT USP 加速,支持 Ulysses 策略(--ulysses_size)和 Ring 策略(--ring_size),也可两者结合;1.3B 模型因 num_heads 为 12 无法被 8 整除,官方建议使用 Ring 策略。

提示词扩展可丰富生成视频细节、提升质量,官方提供两种方式:使用 Dashscope API 扩展,需申请 dashscope.api_key 并配置环境变量 DASH_API_KEY,国际站用户还需设置 DASH_API_URL 为 https://dashscope-intl.aliyuncs.com/api/v1,文本生成视频使用 qwen-plus 模型,图片生成视频使用 qwen-vl-max 模型;也可使用本地模型扩展,默认使用 HuggingFace 上的 Qwen 模型,文本生成视频可用 Qwen/Qwen2.5-14B-Instruct、Qwen/Qwen2.5-7B-Instruct 或 Qwen/Qwen2.5-3B-Instruct,图片生成视频或首尾帧生成视频可用 Qwen/Qwen2.5-VL-7B-Instruct 或 Qwen/Qwen2.5-VL-3B-Instruct,较大模型扩展效果更好但需要更多显存,可通过 --prompt_extend_model 指定模型。

适用场景包括需要自托管视频生成能力的研究与开发、在消费级 GPU 上运行文本生成视频、以及视频编辑与多任务视频生成需求。限制方面,1.3B 模型在 720P 下训练有限,结果稳定性通常不如 480P,官方推荐使用 480P;首尾帧生成视频目前仅支持 720P,且建议中文提示词;VACE 输入支持任意分辨率,但为达到最佳效果视频尺寸需落在特定范围;Diffusers 示例暂未集成提示词扩展和分布式推理。其他未在资料中说明的收费、价格或平台信息暂未提供。