SuperAPI AI 工具集

phoenix-error-analysis

编程与开发

查看项目

更新于 10-15 19:57

技能介绍

用途:在 LLM 或智能体流量中定位问题。对采样的 Phoenix trace、span 或 session 做两阶段分析:开放式编码(open coding)逐条阅读实体并写下具体问题笔记;轴向编码(axial coding)把笔记归并为少量窄标注,每个标注只判断一个维度,并用小标签集计数,供评估设计与修复优先级使用。开放式编码必须先做,否则维度与标签是自上而下臆造的。

主要能力:选择分析单元(trace 为一次输入到输出;span 为 trace 内单个操作;session 为共享 session.id 的 trace 序列);读取输入、输出、异常、工具调用、检索上下文与轨迹;记录笔记并写入服务端,同时镜像到本地 sidecar;把笔记聚类为维度并定义标签;注册分类标注配置;按维度计数标签。

使用方式:先选编码标注标识符(如 coding-run:chatbot-context-loss-2026-05-06),检查本地 sidecar 是否已存在;本地文件位于 .px/coding/<sanitized-identifier>.jsonl 与 -axial.jsonl。写入可用 Phoenix CLI(px trace add-note、px trace annotate 等)或 GraphQL(createTraceNotes、createTraceAnnotations 等)。每条笔记写入后向 sidecar 追加一行 JSONL。轴向编码从 sidecar 读取笔记,按同一问题聚类,命名标注并选 2 至 4 个互斥标签,再逐实体写入标注并计数。

适用场景:分类器、单次摘要、无状态工具智能体、单查询 RAG 适合 trace 级;孤立机械故障适合 span 级;多轮智能体的上下文丢失、目标漂移适合 session 级。

限制:不要按 span 状态 ERROR 采样,幻觉、语气错误、检索遗漏等常以 OK 或 UNSET 完成;笔记是交付物,只读诊断不算完成;标注写入是同步且按(实体、名称、标识符)upsert;GraphQL 删除无标识符过滤,需先收集节点 id;数据可能冗长,注意上下文占用。未提供具体价格、平台支持范围等信息。