SuperAPI AI 工具集

short-translate

智能体与模型

查看项目

更新于 10-16 00:24

技能介绍

用途:把一个口播 take 或成片翻译成目标语言,配音使用 ElevenLabs 从 take 本身克隆的创作者声音;画面保持原样,不做口型同步。翻译后再用 /short-editing 像普通素材一样剪辑,并配上新语言字幕。

主要能力:调用 ElevenLabs Dubbing API 进行翻译配音;支持指定源语言与目标语言代码(如 en、es、fr、de、pt、it、ja),可自动检测源语言。译文 voice 由 take 克隆生成。

必要用法:ElevenLabs API Key 存在 video-agent/.env 里,不可写入聊天、脚本或提交,并要求该文件加入 .gitignore。命令通过 set -a; . video-agent/.env; set +a 加载密钥。建议翻译已剪辑 take 而非成片(成片字幕已烧录旧语言),先按 short-editing 的 ranges 做纯剪切后上传。上传前用 ffprobe 估算时长并等待确认,然后 POST 到 https://api.elevenlabs.io/v1/dubbing,保存返回的 dubbing_id;每 15 秒轮询一次,状态为 dubbed 后下载配音文件。若返回含视频流即为成片,否则用 ffmpeg 将音频贴回原画面,输出到 video-agent/takes/<slug>-<lang>.mp4,并检查时长是否一致。最后以 /short-editing <slug>-<lang> 编辑,调整 whisper-config.mjs 的 WHISPER_LANG 与模型,并统一以 <slug>-<lang> 命名。

适用场景:多语言口播内容分发、同一 take 的多语言版本制作。

限制:无口型同步,长时间面部特写会明显;克隆声音质量受原 take 影响,嘈杂或带背景音乐会变差;机器翻译可能弄错人名、术语和笑话,发布前应人工或母语者核对;配音按分钟消耗 ElevenLabs 积分,价格取决于套餐,免费套餐带水印。价格与计费详情以官方为准。