SuperAPI AI 工具集

exploring-llm-costs

智能体与模型

查看项目

更新于 10-15 18:41

技能介绍

用途:在 PostHog 中调查 LLM 花费,包括一段时间内的总成本、按模型、提供商、用户、trace 或自定义维度的拆解、token 与缓存命中经济性,以及成本回归调试和将结果保存为洞察、仪表盘或告警。

主要能力:PostHog 在摄取时为每个 $ai_generation 和 $ai_embedding 事件附加按调用成本元数据,所有成本问题都可归结为对这两类事件的聚合。技能提供查询趋势、执行 HogQL、列出 trace 成本、查看单 trace 明细、读取数据结构、创建洞察/仪表盘/告警、生成应用 URL 等工具。

核心规则:汇总使用 $ai_total_cost_usd,不要汇总各分量,因为分量会漏掉请求和网页搜索费用;除非项目明确不用 embedding,否则成本查询必须同时包含 $ai_generation 和 $ai_embedding;$ai_trace 和 $ai_span 不含汇总成本,某些 SDK 会把 $ai_total_cost_usd 重复写到 $ai_trace,纳入会导致重复计数;始终设置时间范围,否则会扫描全表。

使用方式:总花费可用 posthog:execute-sql 查询,例如 SELECT round(sum(toFloat(properties.$ai_total_cost_usd)), 4) AS total_cost_usd FROM events WHERE event IN ('$ai_generation', '$ai_embedding') AND timestamp >= now() - INTERVAL 30 DAY。拆解查询在此模板上按维度分组聚合 $ai_total_cost_usd。查看单 trace 用 posthog:query-llm-trace,按 span 名或模型聚合。成本异常排查通常遵循调用量、提示词大小、模型变更、缓存命中率变化的顺序。

适用场景:LLM 账单上涨归因、按用户查高消费、按 trace 查昂贵步骤、缓存命中分析、成本告警。

限制:成本在摄取时写入,为缺失或零时先读 $ai_cost_model_source;缓存命中计算必须基于事件级 $ai_cache_reporting_exclusive 标志分支;自定义定价使用每 token 价格而非每百万;消息内容只存在于 posthog.ai_events 表;不要手写 app.posthog.com 链接,应使用工具返回的 _posthogUrl 或 generate-app-url。资料中未提供收费和价格信息。