SuperAPI AI 工具集

OmniHuman

OmniHuman 是由字节跳动团队提出的 AI 研究项目,全称为 OmniHuman-1: Rethinking the Scaling-Up of One-Stage Conditioned Human Animation Models。该项目专注于人物动画生成,能够通过单张图像和音频输入生成生动的人物视频。根据官方介绍,OmniHuman 支持多种视觉和音频风格,可在任意宽高比和身体比例下生成逼真的人物视频,涵盖肖像、半身和全身形态,其真实感来自动作、光照和纹理细节等多个方面。除音频驱动外,它还支持视频驱动以及音频与视频组合驱动,以模仿特定视频动作或控制特定身体部位。输入方面支持卡通、人造物体、动物以及具有挑战性的姿势。该项目为研究性质,官方页面展示了生成视频示例,并提供了论文引用信息。

访问官网

工具介绍

OmniHuman 是字节跳动团队推出的 AI 研究项目,论文标题为 OmniHuman-1: Rethinking the Scaling-Up of One-Stage Conditioned Human Animation Models,作者包括 Gaojie Lin、Jianwen Jiang、Jiaqi Yang、Zerong Zheng、Chao Liang,发表于 arXiv(arXiv:2502.01061,2025 年)。

用途 OmniHuman 用于人物动画生成,目标是通过单张图像和音频输入生成生动的人物视频。官方页面说明,除展示视频和组合驱动信号的演示外,生成页面上的所有结果仅需任意单张图像和音频。

主要能力 根据官方介绍,OmniHuman 支持多种视觉和音频风格,可在任意宽高比和身体比例下生成逼真的人物视频,包括肖像、半身和全身形态,真实感来自动作、光照和纹理细节等综合方面。在输入多样性方面,它支持卡通、人造物体、动物以及具有挑战性的姿势,确保动作特征与每种风格的独特特征相匹配。官方还展示了肖像宽高比结果,来自 CelebV-HQ 数据集的测试样本。在音乐方面,OmniHuman 可支持多种音乐风格,适应多种身体姿势和演唱形式,能够处理高音歌曲,并针对不同类型音乐展示不同动作风格。

使用方式 官方页面未提供公开的产品化使用入口或安装命令,仅展示了生成视频示例和论文引用信息。页面说明,生成结果仅需任意单张图像和音频;参考图像在大多数情况下是生成视频的第一帧,为保持布局整洁而未展示。如需比较或更多信息,可通过 jianwen.alan@gmail.com 联系。

适用场景 从官方展示来看,OmniHuman 适用于人物动画生成研究,包括肖像、半身、全身视频生成,音乐演唱类动画,以及卡通、动物、人造物体等多样化风格的动画生成。

限制 官方页面未提供公开的在线试用、API、定价或部署方式,暂未提供相关信息。该项目为研究性质,页面中的图像和音频来自公开来源或由模型生成,仅用于展示研究能力。若对演示素材有疑虑,可联系 jianwen.alan@gmail.com 删除。网页模板基于 VASA-1,部分测试音频来自 VASA-1、Loopy、CyberHost。

引用信息 若该项目对研究有帮助,可引用:@article{lin2025omnihuman1, title={OmniHuman-1: Rethinking the Scaling-Up of One-Stage Conditioned Human Animation Models}, author={Gaojie Lin and Jianwen Jiang and Jiaqi Yang and Zerong Zheng and Chao Liang}, journal={arXiv preprint arXiv:2502.01061}, year={2025}}。相关作品还包括 Loopy(arXiv:2409.02634)和 CyberHost(arXiv:2409.01876)。