用途:该技能面向基于 Sync Labs(sync.so,API 主机 api.sync.so)的唇形同步与视觉配音任务,用现有说话人视频(或 sync-3 下的单张静帧)加目标音频,重绘嘴部以匹配新音轨,画面其余部分(背景、身体、头发、衣物)保持不变。适用场景包括视频配音本地化、按校正或重录音频重新对嘴、逐收件人个性化视频、播客/访谈切片、用旁白驱动人像照片。不适用于从零生成人脸、换脸或纯文本生成完整虚拟人。
主要能力与模型选择:lipsync-1.9.0-beta 最快、便宜,适合正面简单片段,嘴型通用;lipsync-2 为通用默认,512×512 裁剪,保留说话者风格;lipsync-2-pro 增加扩散超分,适合胡须、牙齿等细节;sync-3 支持 4K 原生、全镜头与遮挡自动处理,是唯一接受静帧输入的模型;react-1 可编辑表情与头部动作,输入上限 15 秒,情绪提示为 happy | sad | angry | disgusted | surprised | neutral。一般正面良好光照的说话人可用 lipsync-2;近景细节用 lipsync-2-pro;侧面、遮挡、局部脸或 4K 交付用 sync-3。注意 lipsync-2 与 lipsync-2-pro 要求输入视频有自然说话动作,近乎静止的画面可能同步不佳。
使用方式:调用 POST https://api.sync.so/v2/generate,认证头为 x-api-key(SDK 读取 SYNC_API_KEY)。提供 Python SDK(pip install syncsdk)与 TypeScript SDK。请求体包含 model、input(一个视觉项加一个音频源)、options、outputFileName、webhookUrl 等。options 包括 sync_mode(silence、cut_off、remap、loop、bounce)、temperature、active_speaker_detection、occlusion_detection_enabled、model_mode、prompt。segments 可按时间区间绑定不同音频,dubParams 支持自动翻译配音。返回 201 与作业 id,状态为 PENDING、PROCESSING、COMPLETED、FAILED、REJECTED;可轮询 GET /v2/generate/{id} 或使用 webhook(带 Sync-Signature 头,失败不自动重试)。速率限制 100 请求/分钟,并发按套餐上限,超限返回 concurrency_limit_reached(429)。
限制:视频容器 MP4、MOV、WebM、AVI,推荐 MP4/H.264 1080p;分辨率至少 480p,最高 4K;音频推荐 WAV/MP3、44.1 或 48 kHz、单说话人。直接上传上限 20 MB,超出需托管公开 URL 或使用 Assets API。单次生成长度按套餐:Free 20 秒、Hobbyist 1 分钟、Creator 5 分钟、Growth 10 分钟、Scale/Enterprise 30 分钟;音频上限 300 秒,TTS 文本上限 5000 字符。免费与低档套餐输出带水印,并发为 1。价格与套餐会变动,以上为资料记载的日期性参考。质量检查应关注同步时序、身份保持与嘴部区域伪影。