llm-cost-optimization

用途

该技能用于降低 LLM API 与基础设施成本，通过模型选择、提示缓存、批处理、缓存、量化与自托管等策略组合，据称可削减 50–90% 的 LLM 成本。

适用场景包括：

LLM API 支出增长快于收入增长；
需要将 AI 成本归因到团队、产品或客户；
实施缓存以避免重复的 LLM 调用；
决定何时从 API 提供商切换到自托管模型；
在不牺牲质量的前提下优化提示长度。

主要能力

成本追踪

使用 LiteLLM 的成本追踪功能（自动按模型计价），通过 litellm.completion_cost(response) 获取单次调用成本，并可添加自定义成本回调，将成本记录到分析数据库。

模型右尺寸化

按任务复杂度路由模型，避免所有任务都使用高成本模型。示例路由表将分类、摘要、抽取、简单问答映射到 gpt-4o-mini，复杂推理映射到 gpt-4o，代码生成映射到 claude-sonnet-4-6，创意写作映射到 claude-opus-4-6。资料中给出的 2025 年近似价格（每 100 万 token）：gpt-4o-mini 输入 $0.15 / 输出 $0.60；gpt-4o 输入 $2.50 / 输出 $10.00；claude-sonnet-4-6 输入 $3.00 / 输出 $15.00；llama-3.1-8b 自托管约 $0.05–0.10（GPU 摊销后）。

提示缓存（提供商侧）

Anthropic：通过 cache_control: {"type": "ephemeral"} 缓存长系统提示，缓存部分可节省 90%，首次调用全价，后续调用对缓存部分享 90% 折扣，可通过 response.usage.cache_read_input_tokens 查看缓存读取 token。
OpenAI：对超过 1024 token 的重复前缀自动进行提示缓存，无需改代码，可检查 usage.prompt_tokens_details.cached_tokens。

批处理

使用 OpenAI Batch API 处理离线工作负载，可享 50% 折扣。流程为：准备批请求列表、写入 JSONL 文件、上传文件并创建批处理任务（completion_window="24h"），通过 client.batches.retrieve(batch.id) 轮询状态。

语义缓存

结合 Redis 与 SentenceTransformer（示例使用 BAAI/bge-small-en-v1.5），先做精确匹配（SHA-256 哈希），再做语义匹配（余弦相似度阈值 0.92），命中则直接返回缓存响应，未命中才调用 LLM，并将精确匹配与语义嵌入分别以 24 小时 TTL 存入 Redis。

提示压缩

使用 LLMLingua 的 PromptCompressor（示例模型 microsoft/llmlingua-2-bert-base-multilingual-cased-meetingbank），通过 compress_prompt 设置 ratio（如 0.5 保留 50% token）与 rank_method（longllmlingua），据称可将长提示压缩 3–20 倍且质量损失极小。

自托管盈亏平衡计算

提供 break_even_analysis 函数，输入月度 API 支出、GPU 每小时成本（示例 A10G 为 $2.50/小时）与利用率（示例 70%），计算月度 GPU 成本占 API 支出的比例并给出建议：比例 <0.5 建议立即自托管；<0.8 建议流量翻倍后自托管；否则继续使用 API。示例：每月 $5k OpenAI 支出、$2.50/小时 A10G，GPU 成本约 $1,260/月，占 API 支出 25%，建议立即自托管。

成本看板

通过 prometheus_client 定义 llm_cost_usd_total（按 model、team、task_type 标签）与 llm_tokens_total（按 model、token_type 标签，token_type 含 prompt、completion、cached）计数器，在 track_call 中计算成本并上报指标，用于 Grafana 看板。

成本杠杆与影响

资料给出的策略、典型节省与投入对照：

语义缓存：20–50%，低投入
模型右尺寸化：30–70%，低投入
提示压缩：10–30%，中投入
提供商缓存（提示缓存）：10–25%，低投入
离线工作负载批处理：50%（Batch API），中投入
自托管 7–8B 模型：规模化下 80–95%，高投入
量化：30–50% 显存成本，中投入

最佳实践

80% 的任务使用 gpt-4o-mini 或 claude-haiku，它们便宜 10–30 倍。
对超过 1024 token 的系统提示启用提示缓存（Anthropic 与 OpenAI 均为 1024 token 阈值）。
按 token 数量审计前 5 大提示，对其进行压缩或缓存。
使用 LiteLLM 虚拟密钥设置硬性预算上限，防止成本失控。
当月度 API 支出超过 $2k/月时，自托管 7B–8B 模型。

限制

资料未提供该技能的具体安装命令、依赖版本要求、支持的平台范围、收费与价格信息，以及实际效果验证数据，这些内容暂未提供。

技能介绍

用途