用途：当相同或相似查询被反复请求（FAQ 机器人、支持工具）、LLM API 成本上升、高请求量下重复查询造成瓶颈、需为长系统提示实现提示缓存，或需要离线可用的响应持久化时使用。
主要能力：提供三层缓存结构——精确匹配缓存（Redis，命中即时返回）、语义缓存（GPTCache 或基于 sentence-transformers 与 Qdrant 的自建方案，约 5ms 命中）、提供商侧提示缓存（Anthropic 的 cache_control ephemeral、OpenAI 对 ≥1024 token 重复前缀的自动缓存）。还包括缓存预热、Prometheus 指标与 Redis 配置调优。
必要用法：精确缓存以 model、messages、temperature 生成 SHA-256 键并 setex 存储，仅缓存 temperature=0.0 的确定性响应。语义缓存配置 embedding 函数、向量库（Qdrant）与相似度阈值，并按模型名和过期时间过滤。Anthropic 在 system 块加 "cache_control": {"type": "ephemeral"}；OpenAI 无需改代码。
适用场景：FAQ、支持工具、高请求量服务、长系统提示复用、离线 AI 功能。
限制与注意事项：仅缓存确定性响应；语义阈值过高会降低命中率，过低会返回错误答案；TTL 过长会返回陈旧结果，需按知识稳定性设置并按数据更新失效；不同模型答案不同，必须按模型名过滤；Redis 需设置 maxmemory 与 allkeys-lru 防止 OOM。资料未提供具体收费、部署平台或效果保证。