SuperAPI AI 工具集

prompt-caching

智能体与模型

查看项目

更新于 10-16 00:04

技能介绍

用途:为 LLM 应用设计缓存策略,降低调用成本与延迟。资料称通过策略性缓存可将 LLM 成本降低约 90%。

主要能力:提示前缀缓存(prompt-cache)、完整响应缓存(response-cache)、KV 缓存(kv-cache)、CAG 模式(cag-patterns)以及缓存失效(cache-invalidation)。核心原则是按正确层级缓存——前缀、响应或两者兼用。

典型模式:使用 Claude 原生提示缓存处理重复前缀;对相同或相似查询缓存完整响应;CAG 将文档预先缓存进提示,替代 RAG 检索。

反模式:高温度下缓存、不做缓存失效、缓存一切。

注意事项:缓存未命中会带来额外开销与延迟尖峰,应针对未命中优化;缓存响应可能随时间失效,需实现失效机制;前缀变化会导致提示缓存失效,需按缓存友好方式组织提示。

相关技能:context-window-management、rag-implementation、conversation-memory。具体安装命令与代码示例资料未提供。