用途:这是一个聚焦 LLM 分析的 Signals scout,用于在 PostHog 项目中监测 LLM 使用变化,包括成本飙升、延迟漂移、评估通过率下降、失控循环和错误率,只在达到置信门槛时输出发现;空结果也是有效结果,重复上报已知问题比不报更糟。
主要能力:通过 MCP 工具读取数据,包括 query-llm-traces-list、query-llm-trace、llma-evaluation-list、llma-clustering-job-list、get-llm-total-costs-for-project 等;使用 signals-scout-scratchpad-search/remember 保存跨运行记忆,signals-scout-runs-list/retrieve 查看历史,signals-scout-emit-signal 输出发现。发现包含假设、证据、严重度、weight 与 confidence,强发现建议 weight ≥ 0.7、confidence ≥ 0.85。
使用方式:先做冷启动读取(scratchpad、最近 7 天运行、项目画像),再按成本、评估、循环、错误、新模型、聚类等模式探索,边查边写记忆,最后决定输出或跳过并写运行总结。若 $ai_generation、$ai_evaluation、$ai_trace、$ai_span、$ai_metric、$ai_feedback 均不在 top_events 且成本近零,则记录 not-in-use 条目并空关闭。
适用场景:使用 PostHog LLM 分析、需要持续监测 LLM 成本与质量信号的团队。
限制:需排除 Anthropic/OpenAI 限流错误、本地开发测试、CI/评估运行和计划批处理成本峰值;不确定时优先写记忆而非输出,避免误报。具体安装与配置方式暂未提供。