用途:当输入已是人物视频、需要把口型同步替换为新的语音轨时使用 VideoRetalk,可用于配音视频与口型替换场景。模型名必须使用 videoretalk。
主要能力与接口:归一化接口为 video.retalk。请求参数包括 model(可选,默认 videoretalk)、video_url(必填)、audio_url(必填)、ref_image_url(可选,视频含多张人脸时指定目标脸)、video_extension(可选,将视频延长以匹配更长音频)、query_face_threshold(可选,120 至 200)。响应包含 task_id、task_status,完成时含 video_url,以及可选的 usage。
使用方式:提交任务 POST https://dashscope.aliyuncs.com/api/v1/services/aigc/image2video/video-synthesis/,轮询 GET https://dashscope.aliyuncs.com/api/v1/tasks/{task_id};HTTP 仅异步,必须设置请求头 X-DashScope-Async: enable。需设置环境变量 DASHSCOPE_API_KEY,或在 ~/.alibabacloud/credentials 中添加 dashscope_api_key。快速开始命令:python skills/ai/video/aliyun-videoretalk/scripts/prepare_retalk_request.py --video-url "https://example.com/talking-head.mp4" --audio-url "https://example.com/new-voice.wav" --video-extension。
输出与校验:默认输出 output/aliyun-videoretalk/request.json,可用 OUTPUT_DIR 覆盖基础目录;保存归一化请求载荷、目标人脸选择设置与任务轮询快照,并记录输入视频/音频 URL 及是否启用 video_extension。校验命令:mkdir -p output/aliyun-videoretalk 与 python -m py_compile skills/ai/video/aliyun-videoretalk/scripts/prepare_retalk_request.py && echo "py_compile_ok" > output/aliyun-videoretalk/validate.txt,通过标准为命令退出码 0 且生成该文件。
适用场景与限制:模型目前仅支持中国内地(北京),API 为 HTTP 异步,无在线控制台体验。输入视频建议正面且足够近,以便稳定人脸跟踪;多张人脸时提供 ref_image_url 指定目标;若新音频长于输入视频,需明确选择延长画面或截断音频。URL 必须是公开的 HTTP/HTTPS 链接,API 不接受本地文件路径。其他收费、价格与效果信息暂未提供。