SuperAPI AI 工具集

openai-realtime-audio

智能体与模型

查看项目

更新于 10-16 05:08

技能介绍

用途:本技能是 OpenAI Realtime API 与 Audio 端点的参考资料,面向需要搭建低延迟 speech-to-speech 会话,或使用文件转写、文本转语音等音频能力的任务。

主要能力:覆盖 WebRTC、WebSocket、SIP 三种传输方式;session、conversation 与 event 生命周期;VAD;转写与翻译;tools/MCP;服务端控制;成本;voice agents;模型与提示;client secret(ephemeral key)签发。Audio 部分覆盖音频与语音总览、文件转写、文本转语音及转写工作流选型。

使用方式:按任务在映射表中找到对应类别,先读该类别目录下的 README.md 定位目标页面,再读取对应 .md 获取细节。类别包括 realtime、audio、samples。samples 提供 WebRTC 浏览器会话、WebSocket 服务端连接、client secret 签发、实时转写流、文件转写、文本转语音合成、基础 voice agent 等示例。未提供 scripts 目录,连接代码由 samples 覆盖。

适用场景:需要 Realtime 会话建立、事件与 VAD 处理、工具调用、client secret 管理,或非实时文件转写与语音合成时。

限制与边界:webhook 一般内容与 Responses API 参考见 openai-api-core 技能;Agents SDK 的 voice agents(RealtimeAgent / RealtimeSession 等封装)见 openai-agents 技能。本技能只负责 Realtime API 本身与 Audio 端点。Realtime 一词与 Supabase 的 Realtime 数据库 pub/sub 产品无关,勿混淆。具体价格、平台支持与效果资料未提供。