Step-Video-T2V 是由 stepfun-ai 开源的文本到视频（Text-to-Video）预训练模型，相关代码与模型权重已在 GitHub 发布。
用途
该模型用于根据文本提示词生成视频，支持中英文双语提示词输入，可生成最长 204 帧的视频。官方将其定位为当前先进的（SoTA）文本到视频预训练模型，并在自建的评测基准上与开源及商业引擎进行对比。
主要能力
- 模型规模：300 亿参数。
- 视频生成：支持生成最长 204 帧的视频。
- 视频压缩：采用深度压缩 Video-VAE，实现 16x16 空间压缩比和 8x 时间压缩比，在保持视频重建质量的同时加速训练与推理。
- 文本编码：使用两个双语预训练文本编码器处理英文和中文提示词。
- 生成架构：基于 DiT（Diffusion Transformer）架构，包含 48 层，每层 48 个注意力头，每个头维度为 128；使用 3D 全注意力，通过 Flow Matching 训练，将输入噪声去噪为潜在帧，文本嵌入和时间步作为条件。
- 训练稳定性与序列处理：采用 AdaLN-Single 引入时间步条件，在自注意力中引入 QK-Norm 保证训练稳定性，并使用 3D RoPE 处理不同视频长度和分辨率的序列。
- 视觉质量优化：在最后阶段应用直接偏好优化（DPO），利用人类偏好数据微调模型，减少伪影，使生成视频更平滑、更真实。
- 评测基准：发布 Step-Video-T2V-Eval，包含 128 条来自真实用户的中文提示词，覆盖 11 个类别：体育、食物、风景、动物、节日、组合概念、超现实、人物、3D 动画、电影摄影和风格。
版本与发布
- 2025 年 2 月 17 日：发布 Step-Video-T2V 的推理代码和模型权重；同时发布 Step-Video-T2V-Turbo 的推理代码和模型权重；技术报告开源。
- 2025 年 3 月 17 日：发布 Step-Video-TI2V，一个基于 Step-Video-T2V 的图生视频模型。
使用方式
环境要求
- 需要支持 CUDA 的 NVIDIA GPU。模型在四块 GPU 上测试。
- 推荐使用 80GB 显存的 GPU 以获得更好的生成质量。
- 测试操作系统：Linux。
- 文本编码器（step_llm）中的自注意力仅支持 CUDA 计算能力 sm_80、sm_86 和 sm_90。
- Python >= 3.10.0（推荐使用 Anaconda 或 Miniconda）。
- PyTorch >= 2.3-cu121。
推理脚本
官方对文本编码器、VAE 解码和 DiT 采用解耦策略，以优化 DiT 的 GPU 资源利用。因此，需要一块专用 GPU 来处理文本编码器嵌入和 VAE 解码的 API 服务。
开源项目 ModelScope 的 DiffSynth-Studio 提供了单 GPU 推理和量化支持，可显著降低所需显存，具体可参考其示例。
最佳实践推理设置
官方指出，推理超参数的变化会显著影响视频保真度与动态性之间的权衡，建议参考官方给出的最佳实践进行调参。更多性能结果可参考 xDiT 团队的基准指标。
适用场景
- 文本到视频生成研究与开发。
- 中英文提示词驱动的视频内容生成。
- 视频生成模型评测（使用 Step-Video-T2V-Eval 基准）。
- 在线体验：Step-Video-T2V 的在线版本可在跃问视频上使用，并可查看示例。
限制
- 运行需要支持 CUDA 的 NVIDIA GPU，推荐 80GB 显存，测试环境为 Linux，硬件门槛较高。
- 文本编码器自注意力仅支持特定 CUDA 计算能力（sm_80、sm_86、sm_90）。
- 官方未提供具体的收费、价格或商业使用条款信息。
- 官方未提供除上述环境要求外的其他平台支持信息。
致谢与集成
官方感谢 xDiT 团队的支持与并行化策略；代码将集成到 Huggingface/Diffusers 官方仓库；感谢 FastVideo 团队的持续合作，并期待近期共同推出推理加速方案。
