SuperAPI AI 工具集

conversation-evaluator

智能体与模型

查看项目

更新于 10-15 22:12

技能介绍

用途:评估虚拟代理(Virtual Agent)对话质量,识别对话式 AI 表现问题并给出可执行的改进建议。适用于审计虚拟代理表现、调查用户对机器人交互的投诉,或对对话式 AI 部署做周期性质量评估。

主要能力:评估对话连贯性(逻辑流、上下文保持、话题连续性);验证准确性(回答是否与知识库内容一致);评估槽位填充(用户输入采集的完整性与正确性);为意图匹配打分(是否正确选择主题与动作);检测幻觉(识别未基于 ServiceNow 数据的编造信息);生成含各维度评分与总分的质量记分卡。

使用方式:需具备 admin、va_admin 或 conversation_designer 角色,安装 com.glide.cs.chatbot 与 com.glide.cs.designer 插件,并对 sys_cs_topic、sys_cs_conversation、sys_cb_topic、sys_cb_action、sys_cs_message 有读取权限。流程为:查询近期对话、提取消息历史、获取主题与动作定义,然后依次评估连贯性、准确性、槽位填充、意图匹配,检测幻觉,生成记分卡并跟踪质量趋势。可通过 MCP 工具 SN-Query-Table 或 REST API 查询,例如 GET /api/now/table/sys_cs_conversation?sysparm_query=state=closed&sysparm_limit=50。

限制与注意:需有活跃的虚拟代理部署与对话历史;部分部署使用旧版或自定义主题框架,需同时检查 sys_cs_topic 与 sys_cb_topic;无法核实的模糊回答应标记为“不可验证”而非幻觉;同一主题评分差异大时建议按对话路径分段评估。具体收费、价格与平台支持情况暂未提供。