用途
Audio Language Models 技能用于构建实时语音智能体与音频处理流程，基于原生语音到语音（speech-to-speech）模型，覆盖实时语音助手、电话客服机器人、音频转录（含说话人分离）、多语言语音交互、文本转语音以及语音到语音翻译等场景。
主要能力
技能按能力分为四类：
- real-time-voice（实时语音）：关键词为 voice agent、real-time、conversational、live audio，用于构建语音助手、电话客服与支持机器人、交互式语音应答（IVR）。
- speech-to-speech（语音到语音）：关键词为 native audio、speech-to-speech、no transcription，用于低延迟语音响应、自然对话流与情感化语音交互。
- transcription（转录）：关键词为 transcribe、speech-to-text、STT、convert audio，用于将音频文件转为文本、生成会议记录、处理长音频。
- voice-tts（文本转语音）：关键词为 TTS、text-to-speech、voice synthesis，用于生成自然语音、多角色对话与富有表现力的音频输出。
模型对比（资料标注为 1 月）
实时语音（语音到语音）：
| 模型 | 延迟 | 语言 | 价格 | 适用 |
|---|---|---|---|---|
| Grok Voice Agent | <1s TTFA | 100+ | $0.05/min | 最快，Big Bench 第一 |
| Gemini Live API | 低 | 24（30 种声音） | 按用量计费 | 情感感知 |
| OpenAI Realtime | ~1s | 50+ | $0.10/min | 生态集成 |
仅语音转文字：
| 模型 | WER | 延迟 | 适用 |
|---|---|---|---|
| Gemini 2.5 Pro | ~5% | 中 | 9.5 小时音频、说话人分离 |
| GPT-4o-Transcribe | ~7% | 中 | 准确度与口音 |
| AssemblyAI Universal-2 | 8.4% | 200ms | 功能最全 |
| Deepgram Nova-3 | ~18% | <300ms | 最低延迟 |
| Whisper Large V3 | 7.4% | 慢 | 自托管、99+ 语言 |
使用方式
技能提供各模型的代码示例，均保留原始代码内容：
- Grok Voice Agent API（xAI）：通过 WebSocket 连接
wss://api.x.ai/v1/realtime，使用session.update配置模型（如grok-4-voice）、声音（Aria/Eve/Leo）、指令、PCM16 音频格式与server_vad轮次检测；支持input_audio_buffer.append发送音频、response.audio.delta接收音频；支持[whisper]、[sigh]、[laugh]、[pause]等听觉提示。 - Gemini Live API（Google）：使用
genai.GenerativeModel("gemini-2.5-flash-live")与live.LiveConnectConfig配置音频响应模态、语音（Puck/Charon/Kore/Fenrir/Aoede）与系统指令；支持发送音频块、接收音频字节，并可同时获取文本转录。 - Gemini 音频转录（长音频）：使用
gemini-2.5-pro上传音频文件，提示词要求输出说话人标签、时间戳与标点格式，可处理最长 9.5 小时音频。 - Gemini TTS：使用
gemini-2.5-flash-tts，通过response_mime_type="audio/mp3"与语音配置生成语音，支持风格提示、精确节奏与多说话人对话一致性。 - OpenAI GPT-4o-Transcribe：调用
client.audio.transcriptions.create，模型为gpt-4o-transcribe，可返回verbose_json及词级、段级时间戳。 - AssemblyAI：通过
aai.TranscriptionConfig开启说话人分离、情感分析、实体检测、自动高亮与语言检测。
技能还提供实时提供商选择函数 choose_realtime_provider，按最快延迟、情感理解、OpenAI 生态、最低成本等需求返回 grok、gemini 或 openai。
适用场景与选型建议
资料给出的关键决策：语音助手选 Grok Voice Agent（最快）；情感 AI 选 Gemini Live API；长音频（数小时）选 Gemini 2.5 Pro（9.5 小时）；说话人分离选 AssemblyAI 或 Gemini；最低延迟 STT 选 Deepgram Nova-3；自托管选 Whisper Large V3。
价格（资料标注为 1 月）
| 提供商 | 类型 | 价格 | 备注 |
|---|---|---|---|
| Grok Voice Agent | 实时 | $0.05/min | 最便宜的实时方案 |
| Gemini Live | 实时 | 按用量计费 | 30 种 HD 声音 |
| OpenAI Realtime | 实时 | $0.10/min | — |
| Gemini 2.5 Pro | 转录 | $1.25/M tokens | 9.5 小时音频 |
| GPT-4o-Transcribe | 转录 | $0.01/min | — |
| AssemblyAI | 转录 | ~$0.15/hr | 功能最全 |
| Deepgram | 转录 | ~$0.0043/min | — |
常见错误
资料列出的常见错误包括：使用 STT+LLM+TTS 流水线而非原生语音到语音；未利用情感理解（Gemini）；忽略 barge-in（打断）支持导致对话不自然；使用已弃用的 Whisper-1 而非 GPT-4o-Transcribe；未与真实用户测试延迟。
相关技能
vision-language-models（图像/视频处理）、multimodal-rag（音频+文本检索）、streaming-api-patterns（WebSocket 模式）。
限制
资料未提供各模型的完整配额、区域可用性、认证细节与错误处理说明；价格与模型对比标注为 1 月，可能随时间变化。