用途:当交付物是实时口语交互(浏览器语音助手、类电话智能体、低延迟语音到语音支持流程、引导式访谈、辅导对话、实时语音界面)时使用本技能。若任务是批量语音转文字、离线 TTS、配音、音频编辑、音乐或基于文件的音频处理,则不应使用,应改用 OpenAI 音频/请求类 API 或其他语音技能。
主要能力与架构:OpenAI 将 Realtime 会话定位为需要低延迟的实时音频;语音智能体会话在 /v1/realtime 上运行,模型可回应用户、调用工具并管理对话状态。浏览器路径推荐 WebRTC(可用 Agents SDK 的 RealtimeAgent、RealtimeSession 辅助),服务端到服务端使用 WebSocket。会话包含 Session、Conversation 和 Responses;Session 控制模型、语音和配置,Conversation 含用户与模型 Item。
使用方式与限制:服务端发送 session.created 后客户端可用 session.update;多数会话属性可随时更新,但模型在会话中首次以音频回应后语音不可更改;文档记录的最大会话时长为 60 分钟。WebSocket 音频需客户端手动发送 base64 编码的 input-audio-buffer 事件。语音到语音会话默认启用 VAD,可在 session.audio.input.turn_detection 配置,模式有 server_vad 和 semantic_vad。工具支持应用执行的函数工具、远程 MCP 工具和内置连接器。
成本与安全:语音智能体会话按文本、音频、图像模态累计输入输出 token;翻译和转写流式会话按时长计费。OpenAI 记录音频 token 计费约为用户音频每 100 毫秒 1 token、助手音频每 50 毫秒 1 token。输入音频转写是独立 ASR 过程,转写文本可能与模型理解不一致,应视为可观测性与无障碍产物。API 数据默认不用于训练,除非组织明确选择加入。使用政策与安全最佳实践仍适用。
其他:资料中提到的生产经验并非 OpenAI 承诺,仅为设计指导。模型标识、价格、会话限制、语音、API 字段、数据保留和政策要求可能快速变化,生产发布前需重新核对。资料未提供具体安装命令或代码示例。