VBench 是一个面向视频生成模型的综合基准测试套件。视频生成技术进展迅速，但如何评估这些模型仍是一个挑战。现有指标并不完全符合人类感知，而理想的评估体系还应能为视频生成的未来发展提供洞见。为此，VBench 将“视频生成质量”拆解为具体、分层且相互解耦的评估维度，每个维度配有专门的提示词和评估方法。
主要特点：
- 综合维度：VBench 包含 16 个视频生成评估维度，例如主体身份不一致、运动平滑度、时间闪烁、空间关系等。细粒度评估指标可揭示各模型的长处与短板。
- 人类对齐：提供人工偏好标注数据集，用于验证各评估维度的基准结果与人类感知的一致性。
- 有价值的洞见：考察当前模型在各评估维度和各种内容类型上的能力，并研究视频生成模型与图像生成模型之间的差距。
- 多功能基准测试：VBench++ 可评估多种视频生成任务，包括文本到视频和图像到视频。它引入带有自适应长宽比的高质量图像套件，以便在不同图像到视频生成设置下进行公平评估。除技术质量外，VBench++ 还评估生成模型的可信度，提供更全面的模型性能视图。
- 完全开源：VBench 完全开源，包括所有提示词、评估方法、生成视频和人工偏好标注。同时持续将新的视频生成模型加入 VBench 排行榜，以推动视频生成领域发展。
页面还展示了近期视频生成模型的评估结果可视化，包括 12 个最新表现优异的长期视频生成模型在 16 个 VBench 维度上的结果（按维度归一化以便比较）、开源模型评估结果、闭源模型评估结果、VBench++ 图像到视频模型评估结果，以及视觉生成模型和图像生成模型的可信度维度评估结果。此外还包含视频质量维度、视频条件一致性维度的评估示例展示，提示词套件统计（词云和不同评估维度、内容类别下的提示词数量），使用 VBench 评估其他模型和基线（如文本到图像生成模型）以进行 T2V 模型的进一步对比分析，以及八个内容类别下的 VBench 结果。
VBench++ 的图像套件裁剪流程支持自适应长宽比裁剪，在保留关键内容的同时将图像裁剪为多种长宽比。对于竖版图像，若原始图像宽度小于高度，先裁剪为 1:1 比例，再裁剪为 16:9，并在两者之间插值得到常见比例（1:1、7:4、8:5、16:9）。对于横版图像，若宽度大于高度，先裁剪为 16:9，再进一步裁剪为 1:1，并在两者之间插值得到常见比例。页面还展示了图像套件的内容分布。
资料中未提供价格、收费、具体安装命令、详细使用步骤、平台支持情况或效果数据，这些信息暂未提供。
