SuperAPI AI 工具集

infinitetalk

智能体与模型

查看项目

更新于 10-15 19:56

技能介绍

用途:将音频(语音)转换为同步的说话人视频,支持从单张图片或现有视频生成音频驱动的说话视频,适用于数字人播报、视频配音、虚拟主播内容制作。

主要能力:Image-to-Video(单图生成音频驱动说话视频);Video-to-Video(对现有视频进行音频驱动重配音);唇形、头部运动、身体姿态、面部表情与音频多维度同步;支持无限时长视频;支持量化、模型卸载等低显存优化;支持 TTS 文本转语音(Kokoro-82M),并支持用 (s1)、(s2) 标记的双人对话模式。

使用方式:使用前需先下载模型权重(约 30GB),并完成环境配置。核心推理脚本为 scripts/infer_infinitetalk.py。基础图片生成视频示例:python scripts/infer_infinitetalk.py --input_path ./input.jpg --audio_path ./audio.wav --output_path ./output.mp4 --size infinitetalk-480 --mode clip。长视频使用 --mode streaming;Video-to-Video 将 input_path 指向视频文件,脚本自动提取首帧作为参考;TTS 用 --text 提供文本。主要参数包括 mode(clip 或 streaming)、size(infinitetalk-480 或 infinitetalk-720)、sample_steps(默认 40)、sample_audio_guide_scale(默认 4.0)、motion_frame(默认 9)。

适用场景:数字人播报、视频配音、虚拟主播等音频驱动视频生成任务。

限制:推荐 16GB+ 显存 GPU、32GB+ 系统内存、至少 50GB 可用磁盘空间;模型权重较大需提前下载;输入音频建议 16000Hz,脚本会自动响度归一化;输入图片或视频应包含清晰人脸区域;生成速度取决于 GPU 性能,480P 下生成 1 秒视频约需 5-10 秒;显存不足时可降低分辨率、添加 --quant int8 或 --offload_model true。