用途:该技能解决 PostHog 部分功能每周产生成百上千条 LLM 追踪记录、无法人工逐条阅读的问题,把这些追踪转化为 Slack 实时推送的典型用例信息流,帮助团队了解用户实际如何使用某功能、编写文档或排定改进优先级。仅想调试单条追踪或调优现有评估时,应改用 exploring-llm-traces 或 exploring-llm-evaluations。
两种筛选模式:模式 A 针对自带 $ai_trace_id 前缀的独立功能;模式 B 针对通过 PostHog AI 特定 agent 模式交互的功能,按 ai_product='posthog_ai' 与 agent_mode 筛选,依赖 PR #55160 部署,其中 agent_mode IS NOT NULL 可作为“面向用户的对话轮次”筛选条件。
前提条件:追踪需带稳定的 $ai_trace_id 模式或 agent_mode 属性;$ai_generation 与 $ai_evaluation 事件需附带 $session_id,否则须先做后端修复;用户需具备组织级 AI 数据处理审批。
主要工具(部分常未暴露,可退回 UI 操作):query-llm-traces-list、query-llm-trace、execute-sql、llma-evaluation-create/run/update/report-create、workflows-list/get。
使用流程:先用 execute-sql 识别筛选条件,再拉取 5-10 条随机样本;起草 LLM-judge 提示词(须做相关性分类并生成可直接发 Slack 的 2-3 句推理文本,强制以指定开场白开头);以 enabled:false 创建评估,对样本试运行并迭代提示词;确认输出干净后再启用;最后在 UI 的 Data pipeline → Workflows 搭建工作流,触发事件为 $ai_evaluation,按评估名称与结果为 true 过滤,并把 PostHog Slack 机器人邀请到目标频道。
限制:工作流写入仅限 UI;查询追踪列表 limit:10 可能返回数 MB JSON,需交由子智能体摘要;模型选择与成本由用户依据自身预算决定。资料中未提供具体收费与价格信息。