用途:这是 Cekura 的技能,用于决定应启用哪些预定义指标(平台内置评估器)以及如何配置。预定义指标无需编写提示词,开箱即用,覆盖准确性、对话质量、客户体验和语音质量等常见维度。
主要能力:分为四类目录。准确性类含 Expected Outcome、Hallucination、Mock Tool Call Accuracy、Relevancy、Response Consistency、Tool Call Success、Transcription Accuracy、Voicemail Detection。对话质量类含打断计数与评分、静音检测、基础设施问题、延迟、重复计数与评分等。客户体验类含 CSAT、Dropoff Node、Sentiment、Topic of Call。语音质量类含平均音高、胡言乱语检测、逐字母发音检测、发音检查、语速、话轮比例、声音变化检测、语音语调与清晰度、每分钟词数。
使用方式:需两步激活,缺一不可——在项目级开启(分别对应仿真或可观测性),再把指标附加到具体测试场景。可用 GET /test_framework/v1/predefined-metrics/ 获取指标列表与 ID,附加时传 code 字段。六项指标需配置,如静音阈值、dropoff_nodes、topic_nodes、spelling_word_types、pronunciation_words。
适用场景:为预订、催收、客服、医疗及语音质量排查等智能体选择指标集;建议基线启用 Expected Outcome、Infrastructure Issues、Tool Call Success、Latency。
限制:部分指标需音频、立体声(可观测性)或供应商集成;Transcription Accuracy 等仅限仿真,Dropoff Node 与 Topic of Call 仅限可观测性;Speaking Rate 仅英文;若干指标为 Beta。免费与按调用计费指标并存,Hallucination 为 0.6 credits/次。以上均据资料,更多细节暂未提供。