SuperAPI AI 工具集

run-audio-quality-testing

测试与质量

查看项目

更新于 10-15 20:29

技能介绍

用途:按 Coval 公开 cookbook「Testing Across Audio Qualities」端到端搭建并启动音频质量测试扫描,避免逐个手动启动人格运行。适用于拥有语音智能体(PSTN、SIP、WebSocket、LiveKit、Vapi、OpenAI Realtime、Gemini Realtime 等)且已有可信测试集的用户;不适用于纯聊天智能体,因为音频质量测试涉及 STT、TTS、音频时序与背景噪声处理。

主要能力:固定一个语音智能体、一个测试集与共享指标,使用音频鲁棒性人格包中的七个人格(Standard Customer、Impatient Customer、Confused Customer、Interruptive Speaker、Super Fast Speaker、High Background Noise Speaker、Low Volume Speaker)各启动一次运行,生成按 Persona 分组的多运行报告 URL,完成后交接给 analyze-audio-quality-report 技能。

必要用法:需先安装并认证 CLI,coval --version 与 coval whoami 通过,失败则先 coval login。依次确认智能体、测试集与指标,解析七个人格 ID,然后逐个启动运行,命令形如 coval runs launch --agent-id "$AGENT_ID" --persona-id "$persona_id" --test-set-id "$TEST_SET_ID" --concurrency "$CONCURRENCY" --sub-sample-size "$SUB_SAMPLE_SIZE" --sub-sample-seed "$SUB_SAMPLE_SEED" --tags "$TAGS" --name "Audio Quality — $persona_id" --format json。用 coval runs watch 等待完成,再拼接 run ID 生成报告 URL,打开后设置 Compare by 为 Persona 并保存。

限制:七次运行必须保持同一智能体、测试集、指标与子采样种子,否则分组对比失效;不得中途修改智能体配置;不得跳过人格;不要使用 manager_audio_frequency 作为感知音频质量评分;不要推荐 STT Word Error Rate (Audio Upload);人格缺失时应通过 Coval 应用模板创建或按 CLI 回退方式创建,不得编造 ID。若运行以 FAILED 且 total_test_cases=0 结束,可用 --sub-sample-size 1 重新启动该次运行并报告问题。