用途:该技能面向 LLM 应用的缓存策略设计,目标是降低调用成本与延迟。资料称其作者通过策略性缓存将 LLM 成本降低约 90%,缓存层级包括提示前缀、完整响应与语义相似度匹配。
主要能力:包含 prompt-cache、response-cache、kv-cache、cag-patterns、cache-invalidation 等能力模块,以及若干知识模块:Anthropic 提示缓存、响应缓存、缓存增强生成(CAG)、高温采样下的缓存问题、缺少缓存失效、以及“缓存一切”等反模式。
核心原则:在正确层级缓存——前缀、响应或两者兼有。资料指出 LLM 缓存不同于传统缓存:提示存在可缓存的前缀,响应会随温度变化,语义相似度往往比精确匹配更重要。
使用方式:资料未提供具体安装命令、代码示例或调用步骤,暂未提供。
适用场景:需要为 LLM 应用设计提示前缀缓存、响应缓存或语义缓存,并处理缓存失效与温度影响的开发场景。
限制:资料未说明支持的模型、平台、价格或性能数据;高温采样下缓存效果受限,且必须考虑缓存失效,不应无差别缓存所有内容。