Prompt Caching 是一个专注于 LLM 提示缓存策略的技能,来源于 davila7/claude-code-templates。
用途 该技能面向需要降低 LLM 调用成本的场景,通过策略性缓存实现成本优化。资料称其作者曾通过策略性缓存将 LLM 成本降低 90%。它适用于提示缓存、缓存策略设计以及缓存失效等任务。
主要能力 技能包含以下能力项:prompt-cache(提示缓存)、response-cache(响应缓存)、kv-cache(KV 缓存)、cag-patterns(CAG 模式)、cache-invalidation(缓存失效)。
核心原则 按正确层级缓存——前缀、响应或两者兼有。该技能强调 LLM 缓存与传统缓存的区别:提示具有可缓存的前缀,响应会随温度变化,语义相似度往往比精确匹配更重要。
主要模式
- Anthropic Prompt Caching:对重复前缀使用 Claude 原生提示缓存。
- Response Caching:对相同或相似查询缓存完整的 LLM 响应。
- Cache Augmented Generation (CAG):在提示中预缓存文档,而非使用 RAG 检索。
反模式 资料列出以下反模式:高温度下缓存、无缓存失效、缓存一切。
注意事项(Sharp Edges)
- 缓存未命中会导致延迟飙升并带来额外开销(严重程度:高),建议针对缓存未命中而非仅命中进行优化。
- 缓存响应随时间推移可能变得不正确(严重程度:高),建议实现适当的缓存失效。
- 提示缓存因前缀变化而失效(严重程度:中),建议为最优缓存结构化提示。
相关技能 与 context-window-management、rag-implementation、conversation-memory 配合良好。
限制 资料未提供具体安装命令、代码示例、收费信息、价格、平台支持范围或效果数据。