SuperAPI AI 工具集

language-swap

设计与创作

查看项目

更新于 10-15 21:38

技能介绍

用途:将视频翻译并配音为另一种语言,同时保留原说话人的音色。整体流程为三步:dub_video 配音(单次调用,自动完成转录、翻译、服务端保留每位说话人音色并返回音画同步视频)→ edit_lipsync 口型同步(默认开启)→ add_captions 烧录目标语言或双语字幕。

主要能力:支持按时间片段指定不同语言(segments 计划,各段语言可不同,未覆盖区间保留原声,输出时长与原片一致);保留原背景音乐,或用 --no-bgm 仅保留译配语音;支持双语/双字幕,译文行在上、原文行在下。

使用方式:目标语言通过 --to <language> 指定,建议使用语言代码如 es、fr、ja、de、pt-BR、zh-Hans。分段多语言时先用 extract_audio_from_video 提取音频,再用 transcribe_audio(audio=<audio_url>, timestamps=true) 获得带时间戳的转录,与用户确认时间范围后组装 segments[],并只调用一次 dub_video(segments 与 target_language 互斥)。dub_video 为插件专属 Pika MCP 工具,若当前会话未暴露该工具应说明而非替代。若结果为 {task_id, status},需轮询 task_status 直到完成。

限制:口型同步硬性上限 300 秒(5 分钟),超时自动跳过(配音本身无长度限制);口型同步为主要成本(约 $4/分钟,v2-pro),调用前应按实际时长按比例给出费用提示,短片段不要向上取整。目标语言不被语音克隆路线支持时会报错,可参考 references/language-coverage.md。若源 URL 无法抓取(如 403、防盗链),需先重新下载并 upload_asset 到 Pika CDN 后再重试。混合语言轨道无法自动重新转录,需使用返回的多语言字幕以 caption_mode="manual" 烧录。

适用场景:视频本地化、跨语言配音、部分片段翻译、需要双语字幕的成片输出。