SuperAPI AI 工具集

exploring-llm-clusters

数据与分析

查看项目

更新于 10-15 18:41

技能介绍

用途:该技能用于调查 AI 可观测性聚类,理解 AI/LLM 流量中的使用模式、对比不同聚类行为,并下钻到单个聚类。适用于分析“有哪些 LLM 使用类型”“哪个聚类最贵或最慢”“某聚类里是什么”“哪些聚类错误多”“跨运行聚类如何变化”等问题。

主要能力:PostHog 按嵌入相似度对 LLM traces、单个 generation 或 evaluation 事件聚类,由 Temporal 工作流定期或按需运行,产出 $ai_trace_clusters、$ai_generation_clusters、$ai_evaluation_clusters 事件。每个聚类事件含 $ai_clustering_run_id、$ai_clustering_level(trace/generation/evaluation)、$ai_window_start/$ai_window_end、$ai_total_items_analyzed、$ai_clusters(JSON 数组)、$ai_clustering_params。聚类对象含 cluster_id、size、title、description、traces 映射、centroid_x、centroid_y;cluster_id 为 -1 表示噪声/离群聚类;traces 项含 distance_to_centroid、rank(0 最接近质心)、x/y 坐标等。每个团队最多 10 个聚类作业,含 name、analysis_level、event_filters、enabled;同名层级的默认作业会被自动创建并在自定义作业出现后禁用。

使用方式:使用 posthog:llma-clustering-job-list 与 posthog:llma-clustering-job-get 查看作业配置;用 posthog:execute-sql 查询聚类运行、计算指标;用 posthog:query-llm-traces-list 查找聚类内 traces,用 posthog:query-llm-trace 查看单个 trace。流程为先列出最近聚类运行,再按指定 run_id 加载聚类,然后按层级计算成本/延迟/token/错误指标(trace 级按 $ai_trace_id,generation 级按 uuid,evaluation 级先看 clusters 的 metrics 字段再按 uuid 取行),最后下钻代表性 traces(按 rank 排序,取最接近质心的前 3-5 条)。

限制与注意:查询聚类事件必须用其自身发出时间作时间范围,不能用 $ai_window_start/$ai_window_end 过滤,否则零行。$ai_clusters 可能极大,超限会自动持久化到文件,可用 scripts/ 中的 print_clusters.py 生成可读摘要。消息内容位于 posthog.ai_events,不在 events.properties 中;ai_events 保留窗口更短,旧聚类可能只有元数据而无消息内容。聚类标题与描述为 AI 生成摘要,需通过 trace 核实。UI 链接:https://app.posthog.com/ai-observability/clusters,运行页与聚类详情页可附加 url_encoded_run_id 与 cluster_id。