用途:为 LLM 应用设计缓存策略,降低调用成本与延迟。资料称通过策略性缓存可将 LLM 成本降低约 90%。
主要能力:提示前缀缓存(prompt-cache)、完整响应缓存(response-cache)、KV 缓存(kv-cache)、CAG 模式(cag-patterns)以及缓存失效(cache-invalidation)。核心原则是按正确层级缓存——前缀、响应或两者兼用。
典型模式:使用 Claude 原生提示缓存处理重复前缀;对相同或相似查询缓存完整响应;CAG 将文档预先缓存进提示,替代 RAG 检索。
反模式:高温度下缓存、不做缓存失效、缓存一切。
注意事项:缓存未命中会带来额外开销与延迟尖峰,应针对未命中优化;缓存响应可能随时间失效,需实现失效机制;前缀变化会导致提示缓存失效,需按缓存友好方式组织提示。
相关技能:context-window-management、rag-implementation、conversation-memory。具体安装命令与代码示例资料未提供。