SuperAPI AI 工具集

investigate-ai-session

数据与分析

查看项目

更新于 10-15 18:45

技能介绍

用途:该技能用于调查具体 AI 智能体会话或失败模式,确定根因。它在会话与 span 层面操作,阅读对话、追踪执行过程,把失败与其来源联系起来,是 /monitor-ai-quality 之后的“为什么”环节。使用时需在用户具备 Amplitude Agent Analytics 数据的前提下。

主要能力:用户提供具体会话 ID、失败模式、用户投诉或模糊信号时,技能会确定排查范围。针对失败模式,可先调用 Amplitude:get_agent_analytics_schema 获取 agent 名称、工具名、主题取值,再用 Amplitude:query_agent_analytics_sessions 按代理名、工具名、技术失败、低质量分、负面情绪、高成本、长耗时、主题等条件筛选会话,并用 responseFormat: "concise"、limit: 20 排序取近期样本。针对用户投诉,可用 searchQuery 匹配邮箱或用户 ID。

深入分析:对最多 3-5 个会话,并行调用会话详情(sessionIds、responseFormat: "detailed")、对话记录(get_agent_analytics_conversation,includeCategories: true)和执行轨迹(query_agent_analytics_spans)。轨迹中关注状态为 ERROR 的 span、高延迟工具调用(>10s)、同工具多次重试、异常高 token 的 LLM 调用以及操作顺序。

根因分析与输出:技能将失败归类为工具失败、LLM 失败、编排失败、用户困惑或数据/上下文问题,并判断是个案还是系统性问题,查找触发因素与相关模式。输出包含排查摘要、会话表格(含 Session ID、Agent、Outcome、Quality、Sentiment、Failure Type)、根因说明、执行轨迹要点、对话摘录、范围评估与 2-4 条建议修复项,并给出后续提示。

限制:会话 ID 可能因项目不同或超出数据保留窗口而找不到;span 级数据需 AI 智能体启用 OpenTelemetry 兼容追踪;失败会话过多时不应详细排查超过 5 个,而应用 groupBy 找共性再深入 2-3 个代表案例。