该技能属于 PostHog 的 signals scout 体系,定位为“AI 可观测性侦察员”,用于在团队的 LLM 使用数据中发现有意义的回归,并以报告形式直接提交到收件箱(inbox)。其核心原则是:只在变化清除置信度门槛后才撰写报告;空运行(empty run)是一个真实结果;重复报告已知问题比不报告更糟。报告通过 scout-emit-report / scout-edit-report 直接撰写,作者对每份报告 1:1 端到端负责,而不是发出弱信号交由流水线聚类。
工作流程分为几个主要动作:定向(Get oriented)、探索(Explore)、深入(Dig in)、随行记忆(Save memory as you go)、决策(Decide)和收尾(Close out)。定向阶段通过 scout-scratchpad-search、scout-runs-list、scout-project-profile-get、inbox-reports-list 等低成本读取快速建立上下文。探索阶段围绕多个“镜头”(lenses)轮换观察,包括成本、延迟、错误、流量、评估性能、评估/富化配置、聚类、工具使用。每个镜头遵循“趋势 → 尖峰 → 局部化 → 采样”的纪律。
深入阶段强调不要报告顶层数字,而是通过维度(模型、$ai_span_name、工具、用户、ai_product、自定义维度)局部化贡献切片,并拉取一到两个代表性 trace 作为证据。引用 trace 时使用 query 结果的 _posthogUrl 链接到 /ai-observability/traces/<trace_id>,禁止将 trace query 序列化为 /insights/new#q=… 来构造链接。
记忆是持续活动,通过 scratchpad 条目在键前缀中编码类别(pattern:、noise:、addressed:、dedupe:、report:、reviewer:),以便未来运行用一次文本搜索找到。决策阶段先检查该切片是否已有报告,优先编辑现有报告(scout-edit-report + append_evidence),仅在收件箱中没有活跃报告覆盖时才撰写新报告。撰写报告时需设置 suggested_reviewers(通过 scout-members-list 解析 github_login)、actionability 和 priority 等字段,并在写入后记录 report:llm_analytics:<entity> 指针。
该技能列出明确的排除项(disqualifiers):Anthropic/OpenAI 速率限制错误、本地单开发者测试、CI/eval 运行、计划批处理任务期间的成本尖峰、HITL 中断/取消、单独的评估通过率下降、提供方侧故障等。MCP 工具覆盖遥测与成本、评估与富化配置、聚类等。当有疑问时,倾向于写记忆条目而非提交报告,因为成本/评估信号对财务和 ML 团队有高恐慌半径,误报会迅速侵蚀信任。
使用方式上,该技能运行于定期调度的环境中,可接收 <precheck_result> 块快速判断 AI 可观测性是否在使用中;若 $ai_generation、$ai_evaluation、$ai_trace、$ai_span、$ai_metric、$ai_feedback 均不在 top_events 中且成本接近零,则写入一条 scratchpad 记录并空运行关闭。活动历史(activity-history)读取为可选项,若不可用则停止使用该读取器,不重试或绕过,仅跳过无可用读取器的检查。
限制与边界:本资料仅描述该技能的工作方法、工具与流程,未提供价格、收费、平台支持范围或具体效果数据。适用场景为使用 PostHog AI 可观测性并能通过 MCP 访问相关数据的团队;不适用的团队会被 precheck 短路。