SuperAPI AI 工具集

run-accent-testing

测试与质量

查看项目

更新于 10-15 20:28

技能介绍

用途:按 Coval 公开 cookbook 的“Testing Across Accents”流程,端到端搭建并启动口音测试扫描。适用于已有语音智能体(PSTN、SIP、WebSocket、LiveKit、Vapi、OpenAI Realtime、Gemini Realtime 等)和可信测试集的用户,避免手工创建 persona 和逐个发起运行。不适用于纯聊天智能体,因为口音测试考察语音识别(STT)与音频时序。

主要能力:固定一个语音智能体、一个测试集和共享指标;创建口音 persona 包(每个口音一个独立声音,其余设置镜像组织的 Standard Customer,使口音成为唯一变量);发起七轮运行(Standard Customer 基线加六个口音);按 Persona 分组生成可保存的多轮报告;从 API 汇总各 persona 的指标,输出对比表;完成后可交给 analyze-accent-report 生成修复建议。

使用方式:需先安装并认证 Coval CLI(coval --version、coval whoami,失败则 coval login)。依次确认智能体、测试集与指标,创建缺失的口音 persona,解析 persona ID,用 coval runs launch 逐轮发起,再用 coval runs watch 等待完成,最后通过 API 拉取模拟指标并聚合。口音声音为 vidya、marshal、ziyu、cletus、kehinde、darryl,语言统一用 en。

限制:口音声音并发较低,建议 --concurrency 2,模拟会排队、耗时更长,属正常现象。STT Word Error Rate 需要智能体输出 STT trace span 且实际能评分,否则会静默失败;应始终附带无需 trace 的 Transcription Error。不要包含 manager_audio_frequency,也不要推荐 STT Word Error Rate (Audio Upload)。若运行以 FAILED 且 total_test_cases=0 结束,可用 --sub-sample-size 1 重跑并报告问题。coval personas create 不暴露 conversation_initiation 和 background_sound,新 persona 取默认值。具体价格、平台支持范围等资料暂未提供。