Cekura Bench

Cekura Bench 提供语音转语音（Speech-to-Speech，S2S）模型的基准评测，聚焦于实时语音智能体（realtime voice agents）在真实通话中的表现。评测维度包括可靠性（任务成功率）、数据准确性、响应时间、静默（went quiet）比例和每分钟成本，并在真实 WebRTC 实时音频通话环境中让各 AI 语音模型处理来电，以检验其实际表现。

一、评测维度与排名基准 页面以「成功率」（pass³，即在全部三次运行中均通过的场景比例）作为核心排名依据，同时展示数据准确性、静默比例、响应时间和每分钟成本。评测说明指出：更高且更靠左（即可靠性高、响应时间短）表现更好。各单项领先者分别为：可靠性最高为 GPT Realtime 2.1（79.3% pass³），回复最快为 Phonic v1（中位响应时间 1.60 秒），成本最低为 GPT Realtime 2.1 Mini（每分钟 $0.020）。

二、参与评测的模型与关键数据 排名按 pass³ 从高到低依次为：

1. GPT Realtime 2.1（OpenAI）：成功率 79.3%，数据准确性 89.0%，静默 3.3%，响应时间 1.94s，成本 $0.085/分钟。设置：模型 gpt-realtime-2.1，推理 high，语音 marin，轮次管理 Service turn detection。评语：几乎不出错，在 Medicare 通话中表现最佳，但在嘈杂音频下有困难，偶有保存电话号码错误或遗忘此前内容。
2. GPT-Live 1 + GPT-6 Sol（OpenAI）：成功率 75.6%，数据准确性 83.7%，静默 12.2%，响应时间 2.02s，成本 $0.055/分钟。设置：gpt-live-1，Sol on low thinking，语音 marin。评语：预订通话近乎完美，但 Medicare 通话中会转错团队或跳步，静默率最高，语音评分最低。
3. Azure Realtime（Microsoft）：成功率 70.7%，数据准确性 84.1%，静默 4.1%，响应时间 1.66s，成本 $0.080/分钟。设置：azure-realtime，无推理设置，语音 ava。评语：最擅长处理来电者自我更正，通过所有被打断通话及工具调用失败通话，回复速度居前；但 Medicare 通话中常遗漏 ID，背景噪音和多请求通话易出错。
4. Phonic v1（Phonic）：成功率 68.3%，数据准确性 77.2%，静默 0.0%，响应时间 1.60s，成本 $0.140/分钟。设置：phonic_v1，Intelligence high，语音 sabrina。评语：回复最快且从不让来电者等待，预订通话表现最佳之一，但未通过严格 Medicare 检查，工具调用偏多。
5. Grok Voice Think Fast 2.0（xAI）：成功率 67.1%，数据准确性 76.0%，静默 4.5%，响应时间 1.62s，成本 $0.080/分钟。设置：grok-voice-think-fast-2.0，推理 high，语音 eve。评语：回复最短，预订稳定；Medicare 通话中会丢失或搞乱早期细节，静默均发生在 Medicare 通话。
6. Gemini 3.1 Flash Live Preview（Google）：成功率 62.2%，数据准确性 76.0%，静默 3.3%，响应时间 2.88s，成本 $0.070/分钟。设置：models/gemini-3.1-flash-live-preview，Thinking level high，语音 Charon。评语：预订可靠但回复最慢，多次工具调用后回复滞后或缺失，Medicare 转接信息错误。
7. Deepslate Opal（Deepslate）：成功率 57.3%，数据准确性 69.9%，静默 5.3%，响应时间 2.27s，成本 $0.112/分钟。设置：opal，无推理设置，语音 ElevenLabs 21m00Tcm4TlvDq8ikWAM。评语：通过所有被打断及多请求通话，但 Medicare 通话常跳步，对静音、咳嗽和丢包最弱。
8. Gemini 3.8 Live Extended Thinking（Google）：成功率 52.4%，数据准确性 76.0%，静默 5.3%，响应时间 2.07s，成本 n/a。设置：gemini-3.8-live-extended-thinking，Thinking level high，语音 Charon。评语：Medicare 通话最强模型之一，但普通预订最弱，运行间不可预测，背景对话下会静默。
9. Amazon Nova 2 Sonic（Amazon）：成功率 50.0%，数据准确性 59.3%，静默 1.2%，响应时间 2.18s，成本 n/a。设置：amazon.nova-2-sonic-v1:0，Endpointing medium，语音 matthew。评语：语音评分最佳，但漏记姓名和电话，极少通过 Medicare，工具调用重复最多、回复最长。
10. GPT Realtime 2.1 Mini（OpenAI）：成功率 50.0%，数据准确性 61.4%，静默 2.5%，响应时间 2.08s，成本 $0.020/分钟。设置：gpt-realtime-2.1-mini，推理 high，语音 marin。评语：以极低成本完成多数预订，但遗忘早期细节，无一条 Medicare 记录精确，听错电话且难以从工具错误恢复。
11. Gemini 3.8 Live（Google）：成功率 41.5%，数据准确性 69.1%，静默 2.0%，响应时间 1.91s，成本 n/a。设置：gemini-3.8-live，无思考级别，语音 Charon。评语：回复较快且更多预订达成，但 Medicare 记录错误更多，最不擅长处理来电者自我更正，最不可预测。 另有参考项（不参与排名）：Cascade（Cascade），成功率 82.9%，数据准确性 93.1%，静默 0.8%，响应时间 2.17s，成本 n/a。其架构为语音转文本 → LLM → 文本转语音（flux-general-en → gpt-4.1 → eleven_flash_v2_5）。评语：多数场景每次通过，几乎不让来电者等待，但回复不是最快，Medicare 通话偶尔遗忘早期内容。

三、按通话类型的结果 评测分为预订类（Booking）与 Medicare 类通话。预订通话较简单，多数模型几乎每次都能做对；Medicare 通话要求高得多，仅少数模型能通过半数以上。页面列出各模型两类通话的成功率及差距（gap），例如：GPT Realtime 2.1 预订 86.4%、Medicare 60.9%（差距 25.6 个百分点）；Cascade 预订 93.2%、Medicare 56.5%（差距 36.7）；Azure Realtime 预订 81.4%、Medicare 43.5%（差距 37.9）；GPT-Live 1 + GPT-6 Sol 预订 91.5%、Medicare 34.8%（差距 56.7）；Gemini 3.8 Live Extended Thinking 预订 59.3%、Medicare 34.8%（差距 24.5）；Deepslate Opal 预订 72.9%、Medicare 17.4%（差距 55.5）；Gemini 3.8 Live 预订 52.5%、Medicare 13.0%（差距 39.5）；Gemini 3.1 Flash Live Preview 预订 83.1%、Medicare 8.7%（差距 74.4）；Grok Voice Think Fast 2.0 预订 91.5%、Medicare 4.3%（差距 87.2）；Amazon Nova 2 Sonic 预订 67.8%、Medicare 4.3%（差距 63.4）；GPT Realtime 2.1 Mini 预订 67.8%、Medicare 4.3%（差距 63.4）；Phonic v1 预订 93.2%、Medicare 4.3%（差距 88.9）。

四、失败模式与选择建议 页面指出，两个模型可能得分相同但失败原因不同：有的在细节上出错，有的会静默，有的某次运行通过、另一次失败。页面明确说明「没有模型在所有方面都胜出」：来电者想要正确答案和快速回复，使用者想要低账单，没有任何单一模型能同时满足三者，需根据自身最看重的指标进行选择。评测数据最后更新于 2026 年 10 月 7 日，方法学由 Dileep Chagam 提供。关于该基准页面的使用费用、平台开放方式、详细方法学步骤等，资料中暂未提供。