LLM Caching 是一个面向 LLM 应用的缓存实现技能,目标是在重复或相似查询场景下降低 API 成本与延迟。文档把缓存分为三层,并以请求流示意:精确缓存命中即时返回,语义缓存约 5ms 命中,服务端提示缓存可让缓存输入部分更便宜。
适用场景:FAQ 机器人、支持工具等重复提问;LLM API 成本增长需要即时节省;高请求量且重复查询造成瓶颈;为长系统提示实现提示缓存(Anthropic/OpenAI);需要响应持久化的离线 AI 功能。
主要能力:
- 精确匹配缓存:用 Redis 存储,基于 model、messages、temperature 等参数构造确定性 SHA-256 键,示例中仅对 temperature 为 0 的响应写缓存,并设置 TTL。
- 语义缓存:提供 GPTCache 配置示例(Onnx 本地嵌入、Redis 作元数据存储、Qdrant 作向量库、SearchDistanceEvaluation、similarity_threshold 0.80),以及基于 BAAI/bge-small-en-v1.5 与 Qdrant 的自定义实现,含相似度阈值 0.88、24h TTL、按 model 与 expires_at 过滤的查询逻辑。
- 服务端提示缓存:Anthropic 用 cache_control ephemeral 标记长系统提示块,并读取 usage 中的 cache_read_input_tokens;OpenAI 对重复前缀自动缓存,可从 usage.prompt_tokens_details.cached_tokens 读取命中量。
- 缓存预热:提供异步并发预热常见查询的示例代码。
- 指标:用 Prometheus Counter 记录各层命中、未命中与估算节省金额。
- Redis 配置示例:maxmemory、allkeys-lru、关闭持久化等,文档提醒需确认内存限制与关闭持久化是否适合实际实例。
使用方式:文档以 Python 代码片段展示从构建缓存键、查询与写入缓存到调用 LLM API 的完整流程,并给出初始化 GPTCache、创建 Qdrant 集合、预热与监控的步骤。
安全与限制:文档明确缓存示例需包含授权与数据边界,应按租户/用户访问范围分区,并在键或过滤条件中包含模型修订、系统/开发者提示、会话/工具上下文、参数、语言及来源/策略版本;不得因查询相似就把特权答案提供给其他用户;提示哈希不等于加密,需限制或加密存储的查询与结果,遵守删除与保留策略,并在权限或数据变化时失效;对敏感或时效性答案避免语义复用,除非误命中风险可接受。文中相似度阈值、延迟与节省比例为示例,并非校准保证;预热属于付费生成,需限制并发、请求数与预算。应用前需确认真实环境、影响范围与回滚计划,未经明确批准不得部署到生产。文档为仅文档导入,未附带上游脚本与模板。分类:该技能明确用于 LLM 应用的缓存与成本/延迟优化,属于编程与开发。