SuperAPI AI 工具集

instrument-llm-analytics

数据与分析

查看项目

更新于 10-15 18:41

技能介绍

用途

本技能用于为新增或变更代码中的 AI 模型调用接入 PostHog AI Observability,从而对 AI 使用情况进行追踪。适合在实现 LLM 功能之后,或在审查 PR 时使用,以确保所有生成都被捕获,并带有 token 数量、延迟和成本信息。如果项目中尚未安装 PostHog,本技能也覆盖最初的 SDK 设置。该技能支持任意提供商或框架。

支持的提供商与框架

支持的提供商:OpenAI、Azure OpenAI、Anthropic、Google、Cohere、Mistral、Perplexity、DeepSeek、Groq、Together AI、Fireworks AI、xAI、Cerebras、Hugging Face、Ollama、OpenRouter。

支持的框架:LangChain、LlamaIndex、CrewAI、AutoGen、DSPy、LangGraph、Pydantic AI、Vercel AI、LiteLLM、Instructor、Semantic Kernel、Mirascope、Mastra、SmolAgents、OpenAI Agents。

代理/网关:Portkey、Helicone。

使用方式

按以下步骤依次执行:

第 1 步:分析代码库并检测 LLM 技术栈。 在依赖文件和导入中查找 LLM 提供商 SDK(如 openai、anthropic、google-generativeai 等)以及 AI 框架(如 langchain、llamaindex、crewai 等)。查找 lockfile 以确定包管理器。检查是否已有 PostHog 或可观测性设置。如果 PostHog 已安装且已配置 LLM 追踪,跳到第 4 步,为任何新的 LLM 调用添加追踪。

第 2 步:研究插桩方式。(如果 PostHog LLM 追踪已设置,跳过此步。) 2.1. 在下方参考文件中找到与检测到的提供商或框架匹配的文件——它是回调设置、中间件配置和事件捕获的权威来源。现在读取它。 2.2. 如果没有匹配的参考文件,使用 manual-capture.md 作为兜底——它覆盖适用于任意提供商的通用事件捕获方法。

第 3 步:安装 PostHog SDK。(如果 PostHog 已设置,跳过此步。) 添加 PostHog SDK 及任何所需的回调/集成包。不要手动编辑依赖文件——使用包管理器的安装命令。

第 4 步:添加 LLM 追踪。 对 LLM 调用进行插桩,为每次生成捕获输入 token、输出 token、模型名称、延迟和成本。按照特定提供商的参考文件进行确切的回调/中间件设置。不要改变现有文件的根本架构。使新增内容保持最小且有针对。在尝试写入文件之前,必须先读取该文件。

第 5 步:关联到用户。 尽可能通过 distinct ID 将 LLM 生成与已识别的用户关联。

第 6 步:设置环境变量。 检查项目是否已配置 PostHog 环境变量(例如在 .env、.env.local 或特定框架的 env 文件中)。如果有效值已存在,跳过此步。如果缺少 PostHog 项目 token,使用 PostHog MCP 服务器的 projects-get 工具获取项目的 api_token。如果返回多个项目,询问用户使用哪个项目。如果 MCP 服务器未连接或未认证,改为向用户询问其 PostHog 项目 token。

关于 PostHog host URL:检查 projects-get 的 MCP 响应中是否有 region 字段——US 对应 https://us.i.posthog.com,EU 对应 https://eu.i.posthog.com。如果 region 无法从 MCP 响应或现有项目配置中获得,询问用户:“你使用的是 PostHog US Cloud 还是 EU Cloud?”不要假设是 US Cloud。

使用框架的命名约定将这些值写入相应的 env 文件。在代码中引用这些环境变量,而不是硬编码它们。

参考文件

references/openai.md - Openai 可观测性安装 references/azure-openai.md - Azure openai 可观测性安装 references/README.md - PostHog.ai for .net references/anthropic.md - Anthropic ai 可观测性安装 references/google.md - Google ai 可观测性安装 references/cohere.md - Cohere ai 可观测性安装 references/mistral.md - Mistral ai 可观测性安装 references/perplexity.md - Perplexity ai 可观测性安装 references/deepseek.md - Deepseek ai 可观测性安装 references/groq.md - Groq ai 可观测性安装 references/together-ai.md - Together ai 可观测性安装 references/fireworks-ai.md - Fireworks ai 可观测性安装 references/xai.md - Xai 可观测性安装 references/cerebras.md - Cerebras ai 可观测性安装 references/hugging-face.md - Hugging face ai 可观测性安装 references/ollama.md - Ollama ai 可观测性安装 references/openrouter.md - Openrouter ai 可观测性安装 references/langchain.md - Langchain ai 可观测性安装 references/llamaindex.md - Llamaindex ai 可观测性安装 references/crewai.md - Crewai 可观测性安装 references/autogen.md - Autogen ai 可观测性安装 references/dspy.md - Dspy ai 可观测性安装 references/langgraph.md - Langgraph ai 可观测性安装 references/pydantic-ai.md - Pydantic ai 可观测性安装 references/vercel-ai.md - Vercel ai SDK 可观测性安装 references/litellm.md - Litellm ai 可观测性安装 references/instructor.md - Instructor ai 可观测性安装 references/semantic-kernel.md - Semantic kernel ai 可观测性安装 references/mirascope.md - Mirascope ai 可观测性安装 references/mastra.md - Mastra ai 可观测性安装 references/smolagents.md - Smolagents ai 可观测性安装 references/openai-agents.md - Openai agents SDK 可观测性安装 references/portkey.md - Portkey ai 可观测性安装 references/helicone.md - Helicone ai 可观测性安装 references/manual-capture.md - 手动捕获 ai 可观测性安装 references/basics.md - Ai 可观测性基础 references/traces.md - Traces references/calculating-costs.md - 计算 LLM 成本 references/COMMANDMENTS.md - 集成必须遵循的框架特定规则

每个提供商参考文件都包含特定于该提供商或框架的安装说明、SDK 设置和代码示例。找到与用户技术栈匹配的参考文件。

如果用户的提供商未列出,使用 manual-capture.md 作为兜底——它覆盖适用于任意提供商的通用事件捕获方法。

关键原则

  • 环境变量:PostHog 和 LLM 提供商的密钥始终使用环境变量。绝不要硬编码它们。
  • 最小改动:在现有 LLM 调用旁添加 LLM 分析。不要替换或重构现有代码。
  • 追踪所有生成:为每次 LLM 调用捕获输入 token、输出 token、模型名称、延迟和成本。
  • 关联到用户:尽可能通过 distinct ID 将 LLM 生成与已识别的用户关联。
  • 一次一个提供商:只对用户实际使用的提供商进行插桩。不要为代码库中不存在的提供商添加插桩。