SuperAPI AI 工具集

llm-provider-usage-statistics

智能体与模型

查看项目

更新于 10-16 06:23

技能介绍

用途:这是一份参考文档,说明不同 LLM 提供商如何报告令牌用量,帮助在调试令牌计数或优化前缀缓存时对照各家的字段语义。

主要能力:

  1. 令牌计数语义对照。OpenAI 的 input_tokens 为总量(含缓存),cached_tokens 是其中子集,无需另加;Anthropic 的 input_tokens 仅含非缓存部分,需加上 cache_read_input_tokens 与 cache_creation_input_tokens,即 total_input = input_tokens + cache_read_input_tokens + cache_creation_input_tokens;Gemini 的 input_tokens 为总量(含缓存),cached_content_token_count 是子集。
  2. 前缀缓存对照。OpenAI 最小 1,024 令牌、自动启用、TTL 约 5-10 分钟;Anthropic 最小 1,024 令牌、需设置 cache_control 断点、TTL 5 分钟;Gemini 2.0+ 最小 1,024 令牌、隐式自动启用、TTL 可变。
  3. 推理/思考令牌字段。OpenAI 使用 reasoning_tokens(o1、o3 模型);Anthropic 无对应字段,思考内容位于 content blocks 而非 usage;Gemini 使用 thoughts_token_count(启用思考的 Gemini 2.0)。

使用方式:按提供商查阅对应参考文件,OpenAI 见 references/openai.md(Chat Completions 与 Responses API、推理模型、cached_tokens),Anthropic 见 references/anthropic.md(cache_control 设置、beta 头、缓存令牌字段),Gemini 见 references/gemini.md(隐式缓存、思考令牌、usage_metadata 字段)。

适用场景:跨提供商统一统计令牌用量、排查计数偏差、配置前缀缓存以降低成本。

限制:资料仅给出上述对照信息,未提供具体代码示例、价格、平台支持范围或更多实现细节,这些内容暂未提供。