用途:把 LangCache 作为 LLM 调用前的缓存层,降低成本和延迟。适用于包装 OpenAI、Anthropic 等模型调用,以及缓存 RAG 答案、分类输出等确定性 LLM 工作负载。LangCache 目前处于 Redis Cloud 预览阶段,功能与行为可能变化。
主要能力:采用标准 cache-aside 模式。先把用户提示发给 LangCache 的 search;命中则直接返回已存响应;未命中则调用 LLM,再用 set 写入响应,供后续相似提示命中。可通过 SDK 或 REST 调用,REST 端点为 POST /v1/caches/{cacheId}/entries/search 与 POST /v1/caches/{cacheId}/entries。
使用方式:用 server_url、cache_id、api_key 初始化 LangCache,再调用 search 与 set。相似度阈值控制命中严格度:0.95+ 接近精确匹配,适合面向客户、错误代价高的场景;0.9 为均衡默认值,多数工作负载可从此起步;0.8 为宽松语义匹配,适合内部工具、探索性查询、FAQ 去重。应根据实际命中率调整,并抽查返回答案是否相关。
适用场景:缓存 RAG 答案、分类输出及其他确定性 LLM 任务;调优精度与命中率的权衡;把一个应用的 LLM 工作负载拆分到多个缓存实例。
限制与注意:不同 LLM 工作负载不应共用一个缓存,代码问题与密码重置支持查询语义无关,混用会返回无效结果。应按任务创建不同 cache ID 并路由。更细粒度可用自定义属性(如 {"category": "database"})存储与搜索,在同一缓存内按属性过滤隔离任务。其余细节暂未提供。