SuperAPI AI 工具集

audio-generation

智能体与模型

查看项目

更新于 10-15 15:00

技能介绍

用途

Audio Generation 是一个音频生成控制器技能,用于在音频生成任务进入实际执行之前进行规划与分类。当最终目标产物是生成的音频,或为视频渲染准备的音频时使用本技能。它覆盖 TTS、声音设计、声音克隆、变声、翻译配音、播客音频以及唇形同步交接等请求。

本技能的核心决策点是:确定音频任务类别、参考策略,以及运行器交接方式。

主要能力

本技能将音频任务划分为以下类别,并给出对应交接方式:

  • tts:从脚本生成新的语音音频,交接给 voice-batch-runner,并附带声音设计规则。
  • change_voice:保留脚本内容,改变声音身份或表达方式,先确定参考契约,再交接给 voice-batch-runner。
  • translate_dub:翻译并配音源音频,需要明确语言、含义保留和时序策略。
  • voice_clone_take:使用已批准的参考声音保留音色,绑定参考音频后交接给 voice-batch-runner。
  • podcast_audio:以说话人为主导或对话式音频,在视频组装前创建声音/脚本交接。
  • lip_sync_handoff:音频驱动口播或 UGC 渲染,先交接给 voice-batch-runner,再交接给 video-batch-runner。

参考规则

  • 已批准的声音参考音频具有约束力。
  • 口音、能量、节奏或风格示例仅作为灵感,除非用户明确绑定。
  • 仅用于翻译含义的源音频不构成声音身份绑定,除非明确说明。
  • 被排除的声音、音乐或效果不得进入运行器请求。

使用方式

本技能为指令驱动型。它不提交任务,而是根据可用证据直接生成控制器交接产物。输出包含以下字段:

  • taskClass
  • scriptPolicy
  • voicePolicy
  • referencePolicy
  • runnerHandoff
  • nextVideoHandoff(当后续有唇形同步或视频组装时)
  • mustNotDo

用户应从输入中选择最小匹配的命令或工作流并直接运行。若 CLI 返回报价确认挑战,需先获得用户对范围和成本的批准,再运行 postplus quote confirm --json --challenge-file <challenge.json>,并使用返回的令牌重试。

路由规则

  • 转写现有音频:使用 audio-transcription。
  • 需要在音频周围生成图像/视频:使用 video-batch-runner。
  • 需要规范化的托管语音执行:使用 voice-batch-runner。
  • 音频后需要唇形同步视频:使用 video-batch-runner。

适用场景

适用于需要规划音频生成任务的场景,包括 TTS、声音设计、声音克隆、变声、翻译配音、播客音频和唇形同步交接。

限制

  • 不适用于语音转文字,应使用 audio-transcription。
  • 不适用于已规范化的语音请求,应使用 voice-batch-runner。
  • 不适用于完整视频制作流程,应在音频交接明确后使用 video-batch-runner。
  • 本技能不提交任务,必须分类任务并交接执行,不得让运行器自行发明声音策略、翻译策略或唇形同步意图。
  • 当缺少必要的用户意图、源证据或自有输入产物,且猜测会改变结果时应停止。
  • 不得要求 voice-batch-runner 决定声音的创意角色。
  • 不得调用私有提供商/运行时路径或未发布的本地工具。