SuperAPI AI 工具集

eval-session-classify

数据与分析

查看项目

更新于 10-15 20:33

技能介绍

用途:给定一个 Datadog 助手会话的 session_id(UUID),判断用户意图是否被满足,并给出分类结果。依赖 Datadog LLM Obs 与核心 MCP 服务器。

主要能力:从 session_id 出发,通过 search_llmobs_spans 获取 trace_id、agent span 及标签(user_handle、product_area、matched_model_name、stop_reason 等);用 get_llmobs_span_details 读取评估结果与元数据字段;用 get_llmobs_agent_loop 重建完整对话(系统提示、用户消息与 ROUTE_CONTEXT、思考块、工具调用与结果、最终回复);再用 analyze_rum_events 查询会话前后页面浏览与自定义动作,作为行为信号。

使用方式:按步骤调用上述 MCP 工具,时间窗口示例 now-30d 到 now;RUM 查询按 pre/during/post 三段划分,@view.time_spent 为纳秒需除以 1e9;分页用 start_at 行偏移。最终按固定 schema 输出会话元数据、用户意图、助手行为、失败模式(wrong_answer、incomplete_answer、context_loss、hallucination 等)与满意度 yes/partial/no。

限制:资料提到 get_llmobs_span_details 的 span_ids 参数存在已知平台 bug,应跳过该步;若 LLM Obs 无结果、内容过期或被脱敏,或用户无 RUM 数据,则停止分类并输出对应错误码(llmobs_not_found、llmobs_content_expired、llmobs_content_masked、rum_unavailable),不得仅凭 trace 回退分类。RUM 动作名因团队埋点而异,需参考对应 agent 的 RUM 动作说明文件。其余细节暂未提供。