SuperAPI AI 工具集

prompt-caching

智能体与模型

查看项目

更新于 10-16 07:26

技能介绍

用途:该技能聚焦大语言模型(LLM)提示词层面的缓存策略,目标是降低重复请求的成本与延迟。主要能力包括提示缓存(prompt-cache)、响应缓存(response-cache)、KV 缓存、CAG 模式(Cache Augmented Generation)以及缓存失效。

主要工具与模式:Anthropic Prompt Caching 可在 Claude API 中对稳定前缀做原生缓存,通过 cache_control: { type: "ephemeral" } 标记系统提示与静态知识库,动态用户查询不缓存;响应可用 Redis 做内存缓存,OpenAI API 提供自动缓存。

使用方式示例:Anthropic 场景下将 LONG_SYSTEM_PROMPT 与 KNOWLEDGE_BASE 放入 system 数组并加 cache_control,用户消息保持动态;可用 response.usage.cache_read_input_tokens 与 cache_creation_input_tokens 观察缓存命中。响应缓存可按提示做 sha256 哈希作为键,设置 TTL(如 3600 秒),并支持语义相似度缓存与温度感知缓存(温度高于 0.5 时不缓存)。CAG 则把稳定的文档语料预处理后直接放入提示并缓存,替代 RAG 检索。

适用场景:系统提示或上下文稳定且被反复调用、相同或相似查询重复出现、文档语料稳定且能放入上下文窗口、对延迟敏感的场景。

限制:不覆盖 CDN 缓存、数据库查询缓存与静态资源缓存,聚焦 LLM 专用缓存。使用前需具备缓存基础、LLM API 使用与哈希函数知识,建议先掌握上下文窗口管理。资料提到缓存令牌成本可降低约 90%、延迟最高快约 2 倍,但实际效果随实现与环境不同,其余细节暂未提供。