SuperAPI AI 工具集

agent-performance-triage

智能体与模型

查看项目

更新于 10-16 06:47

技能介绍

用途:针对已上线的 Microsoft Copilot Studio 代理,结合分析数据与对话记录,找出表现不佳的原因与位置,输出可执行的优先级待办清单。适合上线两周后运行,之后按月运行。不负责编辑或发布代理,也不做成本分析或上线前测试设计。\n\n主要能力:指标解读、根因诊断、未回答问题聚类挖掘、主题与知识缺口分析、优先级待办生成、跨轮次趋势追踪、面向干系人的汇报。\n\n使用方式:第一步收集证据,最低输入为指定周期的分析摘要(参与率、解决率、转人工率、放弃率、总会话数、CSAT)与未解决/未回答查询列表;更高价值输入包括会话记录导出(价值最高)、按主题细分、主题列表与触发短语、知识源清单、工具失败遥测、对比周期及人工渠道数据。第二步把指标当作漏斗而非记分卡,沿 reach→engagement→understanding→answering→resolution→satisfaction 找第一个断裂环节。第三步按症状诊断,如低参与、高放弃、高理解低解决、误路由、高解决低满意度,并给出候选原因与区分证据。第四步对未回答问题按意图聚类,可用命令 python3 scripts/cluster_queries.py unanswered.csv --column query --volume-column count --csv backlog.csv,脚本为词法聚类,需手动合并同义词,可用 --threshold 调参。第五步按影响÷投入并结合置信度排序,分为立即修复、下一步、待调查。第六步输出自包含 HTML 分诊报告、CSV 或表格待办、干系人一页纸。第七步下一轮先复盘上一轮条目是否上线、是否改善指标,并追踪解决率、放弃率、头部聚类量、未完成待办按龄计数等趋势。\n\n限制与护栏:需先确认对话记录已去标识化或用户有权分享,含个人数据且未去标识化时应停止;报告不得引用含个人数据的记录原文。观察与推断需明确区分,样本低于约 100 会话时只能作为假设并说明确认所需体量。不得推荐负责人无法实施的变更。该技能只读取和给出建议,从不编辑或发布代理。