SuperAPI AI 工具集

azure-text-to-speech

通用与其它

查看项目

更新于 11-15 04:52

技能介绍

用途

Azure AI Speech 文本转语音用于生成神经语音旁白,适合在 OpenMontage 中合成配音或解说。它通过 REST /cognitiveservices/v1 端点同步提供语音,无需令牌交换、Blob 存储或任务轮询。在 OpenMontage 中该能力以 azure_tts 工具暴露(capability=tts,provider=azure),属于可选的云端 TTS 提供方:当 AZURE_SPEECH_KEY 已配置时,优先使用它获得高质量云端旁白;本地 piper_tts 仍是默认离线路径,也是 Azure 不可用时的回退;elevenlabs_tts 仍是声音克隆的选择。

主要能力

  • 高质量多语言神经语音。
  • SSML 韵律控制:rate / pitch。
  • express-as 风格(style),适用于支持该风格的语音。
  • 同步 REST 端点,无需令牌交换、Blob 存储或任务轮询。
  • 输出格式可选 mp3(48kHz/192kbit,用于交付)或 wav(48kHz PCM,用于送入 audio_mixer 进一步处理)。
  • 确定性:固定 voice + SSML 重新渲染的音频基本一致,可安全地重新生成单个片段而无需重录整套。
  • 报告每次调用的 cost_usd,供成本跟踪器使用。

使用方式

配置

与 azure_stt 使用同一个 Speech 资源——一个密钥/区域同时解锁 STT 与 TTS 两个方向。在 Azure 门户创建 Speech 资源,从其 Keys and Endpoint 页面复制密钥与区域。

export AZURE_SPEECH_KEY=your_speech_resource_key export AZURE_SPEECH_REGION=eastus # your resource's region

export AZURE_TTS_ENDPOINT=https://... # optional: full custom TTS host

(the TTS host is https://<region>.tts.speech.microsoft.com — a different

subdomain than the STT endpoint, hence the separate override var)

当 AZURE_SPEECH_KEY 加上 AZURE_SPEECH_REGION 或 AZURE_TTS_ENDPOINT 任一设置后,azure_tts 报告 AVAILABLE。

在流水线中使用

照常通过 tts_selector 路由(它会自动发现 azure_tts),或在用户已批准 Azure 时直接调用 provider 工具:

from tools.tool_registry import registry registry.discover() tts = registry._tools["azure_tts"]

result = tts.execute({ "text": "Every design decision in this dashboard has a reason.", "voice": "andrew", # alias or full Azure short name "rate": "-4%", # slightly slower for narration # "style": "narration-professional", # for voices that support styles "output_path": "projects/my-video/assets/audio/seg_001.mp3", "output_format": "mp3", # or "wav" (48kHz PCM) for mixing })

如果 azure_tts 不可用(无密钥)或出错,按其声明的回退链回退:elevenlabs_tts → openai_tts → piper_tts。

语音选择

精选短名单(voice 参数接受别名):

别名 语音 特点
andrew en-US-AndrewMultilingualNeural 温暖、自信、对话式——默认;创始人/讲解语气
brandon en-US-BrandonMultilingualNeural 更低沉、沉稳
ava en-US-AvaMultilingualNeural 自信、明亮的女声
guy en-US-GuyNeural 权威感
jenny en-US-JennyNeural 友好、清晰

任何有效的 Azure 语音短名都可原样传入(例如 de-DE-KatjaNeural);Multilingual 语音对非英语文本处理良好——将 locale 设为与文本语言一致以获得正确的 SSML。

重要参数

  • rate / pitch——SSML 韵律。旁白通常略微放慢读起来最好("-4%" 到 "-8%");除非要修正某个语音,否则 pitch 保持 "0%"。
  • style——适用于支持该风格的语音的 express-as 风格(narration-professional、calm、newscast)。不支持的风格会被 Azure 静默忽略,因此批量运行前先试听样本。
  • output_format——mp3(48kHz/192kbit)用于交付,wav(48kHz PCM)用于该片段送入 audio_mixer 进一步处理。

适用场景

  • 在 OpenMontage 中为视频合成配音或解说旁白。
  • 需要多语言神经语音、韵律控制或 express-as 风格的旁白。
  • 需要按脚本段落生成片段、便于对齐场景时间并低成本重新生成的场景。

限制与提示

  • 一次 execute 调用 = 一个旁白片段。按脚本段落生成(asset 阶段约定),而不是一整段大文本——更小的片段能干净地对齐场景时间,且重新生成成本低。
  • 同步端点单次请求上限为 10 分钟音频——远高于 OpenMontage 生成的任何片段。
  • 文本会自动进行 XML 转义;不要预先转义或包裹 SSML——传入纯文本加上 rate/pitch/style 参数即可。
  • 质量验证:批量运行整个脚本前,先试听第一个生成的片段(语音/风格是否合适是创作决策——按 Decision Communication Contract 在提案阶段提出)。

成本

Azure 神经 TTS 标准层计费约为每 100 万字符 16 美元(约每 1000 字符 0.016 美元;一个 150 词的旁白片段约 0.015 美元)。工具会报告每次调用的 cost_usd 供成本跟踪器使用。当前费率请参见 Azure AI Speech 定价。