SuperAPI AI 工具集

prompt-caching

智能体与模型

查看项目

更新于 10-15 14:13

技能介绍

Prompt Caching 是一个专注于 LLM 提示缓存策略的技能,来源于 davila7/claude-code-templates。

用途 该技能面向需要降低 LLM 调用成本的场景,通过策略性缓存实现成本优化。资料称其作者曾通过策略性缓存将 LLM 成本降低 90%。它适用于提示缓存、缓存策略设计以及缓存失效等任务。

主要能力 技能包含以下能力项:prompt-cache(提示缓存)、response-cache(响应缓存)、kv-cache(KV 缓存)、cag-patterns(CAG 模式)、cache-invalidation(缓存失效)。

核心原则 按正确层级缓存——前缀、响应或两者兼有。该技能强调 LLM 缓存与传统缓存的区别:提示具有可缓存的前缀,响应会随温度变化,语义相似度往往比精确匹配更重要。

主要模式

  1. Anthropic Prompt Caching:对重复前缀使用 Claude 原生提示缓存。
  2. Response Caching:对相同或相似查询缓存完整的 LLM 响应。
  3. Cache Augmented Generation (CAG):在提示中预缓存文档,而非使用 RAG 检索。

反模式 资料列出以下反模式:高温度下缓存、无缓存失效、缓存一切。

注意事项(Sharp Edges)

  • 缓存未命中会导致延迟飙升并带来额外开销(严重程度:高),建议针对缓存未命中而非仅命中进行优化。
  • 缓存响应随时间推移可能变得不正确(严重程度:高),建议实现适当的缓存失效。
  • 提示缓存因前缀变化而失效(严重程度:中),建议为最优缓存结构化提示。

相关技能 与 context-window-management、rag-implementation、conversation-memory 配合良好。

限制 资料未提供具体安装命令、代码示例、收费信息、价格、平台支持范围或效果数据。