用途
Signals scout: AI observability 是一个聚焦 AI 可观测性的巡检角色（scout），用于发现团队 LLM 使用中的有意义变化，包括成本、延迟、错误、用量、评估表现、评估/富化配置、聚类和工具使用。其核心纪律是：只在变化越过置信门槛时提交报告；空跑是真实结果，重复报告已知问题比不报告更糟。
它自行通过报告通道（scout-emit-report / scout-edit-report）直接撰写报告，为每份报告端到端负责，而不是发出弱信号交由管道聚类。因此门槛较高：只为已定位、已验证、可作为独立收件箱条目的局部回归提交报告。仍在变化中（或恢复后又复发）且收件箱已覆盖的回归，应视为编辑而非新报告。
主要能力与观测范围
技能通过一系列“透镜”（lenses）观察以下表面：
- 成本（Cost）：总支出持续达到约 2 倍基线，或某个维度出现阶跃。
- 延迟（Latency）：$ai_latency 的 p50/p90/p99 漂移或尖峰，按模型观察。
- 错误（Errors）：$ai_is_error / $ai_http_status 比率或构成变化。
- 用量（Volume）：生成/追踪计数或独立用户数骤降或激增，失控循环形态。
- 评估表现（Eval performance）：特定评估的通过率/每日失败数近期变化。
- 评估/富化配置（Eval/enrichment config）：评估/标注器/评分器静默损坏或设置错误。
- 聚类（Clusters）：新增/增长/错误密集/高成本的聚类。
- 工具使用（Tool usage）：调用工具组合变化，每追踪工具调用数上升。
每个透镜遵循“趋势 → 尖峰 → 定位 → 采样”的纪律：先判断最新完整时间桶是否偏离团队自身基线（而非仅昼夜季节性），再按维度切片定位成因，最后抽取代表性追踪作为证据。
使用方式
运行在多种动作之间循环，跳过无用项、回访有用项：
- 定向（Get oriented）：三次低成本读取冷启动一次运行——scout-scratchpad-search（搜索 llm 或 ai_）、scout-runs-list（近 7 天）、scout-project-profile-get；以及 inbox-reports-list 查看收件箱已有报告。
- 探索（Explore）：按下述透镜之一深入，不要每轮都跑全部，轮换以构建完整画面。
- 深入（Dig in）：定位（按维度切片）并采样（用 query-llm-trace 抽取代表追踪，引用具体 trace/generation/evaluation ID）。
- 随时记忆（Save memory as you go）：以 pattern:、noise:、addressed:、dedupe:、report:、reviewer: 等键前缀写入 scratchpad。
- 决策（Decide）：先检查该切片是否已有报告；已有且仍存活则编辑（appendix_evidence），否则才新撰报告。
- 收尾（Close out）：用一段话总结本轮（查看的透镜、撰写或编辑的报告、记忆内容、排除项及原因）。
相关深潜技能（exploring-llm-costs / -traces / -evaluations / -clusters，以及 querying-posthog-data）已内置沙箱，包含实际维护的查询。references/lenses.md 是逐透镜手册。
MCP 工具涵盖：遥测与成本（query-llm-traces-list、query-llm-trace、get-llm-total-costs-for-project、query-trends、execute-sql）；评估与富化配置（llma-evaluation-list、llma-evaluation-report-list / -run-list、llma-tagger-list、llma-score-definition-list、llma-clustering-job-list / -get、llma-prompt-list / -get）；以及 schema（read-data-schema）。
适用场景
适用于使用 PostHog AI 可观测性、需要监控 LLM 调用成本、延迟、错误与评估质量的团队。若团队未使用该能力（$ai_generation、$ai_evaluation、$ai_trace、$ai_span、$ai_metric、$ai_feedback 均不在 top_events 中且成本接近零），则写入一条 not-in-use 记录并空跑关闭。
限制与排除项（Disqualifiers）
以下情形应跳过：Anthropic / OpenAI 速率限制错误（除非 scratchpad 有 noise: 条目）；单个开发者本地测试（properties.environment ∈ {dev, local} 或内部用户）；CI / 评估运行（非面向用户的流量）；计划批处理任务期间的成本尖峰（如夜间基准运行）；HITL 中断/取消（会虚增原始 $ai_is_error）；仅评估通过率下降（会通过已启用的 llm_analytics:evaluation 信号源自动流入收件箱，仅在定位到自动流无法覆盖的成因时才撰写）；上游提供方侧故障（已知故障期间的 429/5xx 激增并非 PostHog 侧缺陷）。存疑时写入记忆条目而非提交报告——成本/评估信号对财务与 ML 团队有很高的恐慌半径，误报会迅速侵蚀信任。