用途:这是一项 LLM 提示缓存策略技能,目标是在提示前缀、完整响应或两者上实施缓存,并处理语义相似匹配等场景,以降低模型调用成本与重复计算。
主要能力:包含 prompt-cache(提示缓存)、response-cache(响应缓存)、kv-cache(键值缓存)、cag-patterns(缓存增强生成模式)、cache-invalidation(缓存失效)等能力。提供三类模式:使用 Claude 原生提示缓存复用重复前缀;对相同或相似查询缓存完整 LLM 响应;以 CAG 预缓存文档到提示中,替代 RAG 检索。
使用方式:资料未给出具体命令或代码,仅给出原则性做法——选择合适的缓存层级(前缀、响应或两者);理解 LLM 缓存不同于传统缓存:提示存在可缓存前缀、响应随温度变化、语义相似常比精确匹配更重要。相关技能包括 context-window-management、rag-implementation、conversation-memory。
适用场景:重复前缀的提示调用、相同或相似查询的响应复用、需要将文档预置进提示而非检索的场景。
限制与注意事项:反对高温度下缓存、无缓存失效、缓存一切等反模式;已知风险包括缓存未命中带来延迟尖峰(需针对未命中优化)、缓存响应随时间变得不正确(需实现正确的缓存失效)、前缀变化导致提示缓存失效(需按可缓存方式组织提示结构)。具体的收费、价格、平台与完整使用步骤暂未提供。