Roark 是面向语音 AI 的 QA 与评估（evals）平台，定位是测试、监控和改进你已经运行的语音 AI 智能体，而不是再做一个智能体构建器。它围绕一个持续改进的闭环：在生产环境中发现问题，在仿真中验证修复，带着证据上线，然后 Roark 继续观察下一通电话。
上线前仿真测试 在客户拨入之前，让智能体面对数百个模拟来电者进行演练。这些模拟来电者来自你真实的通话类型，包含逼真的角色（愤怒者、絮叨者、打断者等）、口音、背景噪音和边缘案例。Roark 还提供对抗性来电者，尝试提示注入、越狱和社交工程，以检验智能体在受攻击时是否遵守策略。仿真覆盖 45 种语言与口音，包括母语口音、语码转换和背景噪音。支持峰值并发负载测试和持续健康检查，确保在预发布环境通过的智能体能够撑过上线日。回归测试可在每次修改后重跑整套用例，并与上一个绿色基线做差异对比，避免修好一个来电者却弄坏另一个。每一次提示词或模型变更都会在合并前运行测试套件，相当于为对话设置质量门禁。
通话后分析 每一通生产通话在接入时即被打分：自动归档问题、触发告警，提供仪表盘和 OTEL 追踪，语音通话和聊天线程都适用。与多数工具用 LLM 给转写文本打分不同，Roark 在通话本身运行专门构建的音频模型，衡量客户实际听到的内容。平台提供 500+ 音频原生指标，覆盖音频原生、对话、合规和延迟等维度，例如脚本遵循、首次响应时间、打断处理、静音时长、发音测试（药品名、SKU、人名从波形验证）等。支持自定义指标，根据你的评分标准在每通通话上自动打分。还可进行人工审核与真值标注，标注真实通话、设定正确答案，并衡量每个指标与人工判断的一致程度。问题跟踪器会归档失败并聚类，跨部署追踪。告警与监控可对任意指标设置阈值，推送到 Slack 或 webhook。追踪与仪表盘提供每轮对话的 OTEL span，以及按智能体和版本的趋势评分。
持续改进 Roark 提供提示词优化器，根据失败通话起草有证据支撑的提示词修改；真值调优可根据你的标注调整指标，直到模型与团队判断一致；当问题不在措辞时，提供模型、语音和基础设施的替换与设置建议；修复验证可将你的修复回放到当初出问题的那些来电者上；上线验证则从部署后的第一通电话开始观察指标。
使用方式 Roark 可在下方任一平台一键接入，生产通话会自动流入；也可以发送任意录音，只需少量代码。支持与 Vapi、Retell、LiveKit、Pipecat 以及你自己的技术栈配合使用。注册可免费开始，赠送 50 美元额度，无需信用卡。
适用场景
- 客服与销售通话：对每一通对话的发音、共情和解决率进行打分。
- 医疗通话：自动对每通对话的披露与身份核验进行合规打分。
- 客户语音智能体：在上线前通过仿真验证，用证据证明构建已就绪。
其他信息 Roark 还提供公开的实时语音 AI 排行榜 Roark Live Bench，对每种语音转文字、语言模型和语音引擎组合在真实电话网络上进行呼叫，并由同一评分引擎端到端打分。每次评测发布在套件版本下，保持与上次可比。可免费阅读，无需注册。 平台从第一天起提供企业级能力：年度渗透测试、SSO/SAML、基于角色的访问控制、可配置的数据保留策略。
限制与未提供信息 资料未提供具体定价方案（除免费额度外）、各功能是否单独收费、支持的智能体平台完整列表、具体部署方式、数据存储位置、SLA 等详细信息，上述内容暂未提供。
