Video Translation(HeyGen)用于将已有视频翻译并配音成多种语言,保留口型同步和自然语音模式。用户提供视频 URL 或 HeyGen 视频 ID 即可,无需先在 HeyGen 上创建视频。
用途
该工具适用于将视频翻译成另一种语言,以及为视频内容配音。它通过 HeyGen API 完成翻译与配音,支持口型同步,使说话者的唇部动作与翻译后的音频匹配,并让翻译音频尽量贴近原说话者的声音特征。
认证
所有请求都需要 X-Api-Key 请求头。需设置 HEYGEN_API_KEY 环境变量。
默认工作流
- 提供视频 URL 或 HeyGen 视频 ID。
- 调用 POST /v2/video_translate,并指定目标语言。
- 轮询 GET /v2/video_translate/{translate_id},直到状态为 completed。
- 从返回的 URL 下载翻译后的视频。
创建翻译任务
请求字段包括:video_url(字符串,必填,与 video_id 二选一)、video_id(字符串,必填,与 video_url 二选一)、output_language(字符串,必填,目标语言代码,如 "es-ES")、title(字符串,可选,翻译后视频的名称)、translate_audio_only(布尔值,可选,仅音频、无口型同步,速度更快)、speaker_num(数字,可选,视频中说话者数量)、callback_id(字符串,可选,用于 webhook 跟踪的自定义 ID)、callback_url(字符串,可选,完成通知的 URL)。video_url 或 video_id 必须提供其一。
支持语言
包括:英语(美国)en-US(默认源语言)、西班牙语(西班牙)es-ES、西班牙语(墨西哥)es-MX、法语 fr-FR、德语 de-DE、意大利语 it-IT、葡萄牙语(巴西)pt-BR、日语 ja-JP、韩语 ko-KR、中文(普通话)zh-CN、印地语 hi-IN、阿拉伯语 ar-SA。
翻译选项
基础翻译(带口型同步):提供 video_url、output_language、title。
仅音频翻译(更快、无口型同步):设置 translate_audio_only: true。
多说话人视频:设置 speaker_num,例如 2。
高级选项(v4 API):提供更多控制,包括 input_video_id、google_url、output_languages(一次调用支持多语言)、name、srt_key(自定义 SRT 字幕)、instruction、vocabulary(需原样保留的术语)、brand_voice_id、speaker_num、keep_the_same_format、input_language、enable_video_stretching、disable_music_track、enable_speech_enhancement、srt_role("input" 或 "output")、translate_audio_only。
多语言输出:通过 output_languages 数组一次提交多种目标语言。
自定义词汇:通过 vocabulary 数组保留特定术语不被翻译。
自定义 SRT 字幕:通过 srt_key 指定字幕文件,并用 srt_role 指定输入或输出角色。
检查翻译状态
调用 GET /v2/video_translate/{translate_id},返回数据包含 id、status(pending、processing、completed、failed)、video_url、message。
轮询完成
翻译比标准视频生成耗时更长,最长可等待 30 分钟。示例代码以 30 秒为轮询间隔,最长等待 1800000 毫秒。
完整工作流
示例函数 translateAndDownload 先调用 translateVideo 获取 translateId,再调用 waitForTranslation 等待完成并返回翻译后的视频 URL。
批量翻译
示例函数 translateToMultipleLanguages 可并行提交多个目标语言的翻译任务,并分别等待结果,返回语言到视频 URL 的映射;失败时记录错误信息。
功能
口型同步:自动调整说话者唇部动作以匹配翻译后的音频。
声音克隆:翻译后的音频匹配原说话者的声音特征。
音乐轨道控制:可通过 disable_music_track: true 选择移除背景音乐。
语音增强:可通过 enable_speech_enhancement: true 改善音频质量。
最佳实践
源视频质量很重要,使用高质量源视频可获得更好结果;音频清晰、语音清楚的视频翻译效果更好;单说话者内容效果最佳;语速过快可能影响质量;建议先用较短片段测试,再翻译长视频;翻译耗时比视频生成更长,最长可达 30 分钟,需预留额外时间。
错误处理
常见错误包括配额不足(quota)、视频过长(duration)、不支持的视频格式(format)等,示例代码展示了如何根据错误信息返回相应提示。
限制
资料未提供具体收费、价格、平台支持范围、视频时长上限、文件大小限制等细节,暂未提供。