用途：该资料是 LiteLLM-RS 的缓存架构指南，说明如何通过多级缓存优化请求延迟与调用成本。
主要能力：系统分为三层。L1 为内存缓存，采用 LRU 淘汰，延迟为微秒级，容量约 1 万条；L2 为 Redis 缓存，基于请求哈希做精确匹配，延迟为毫秒级，支持 TTL 过期；L3 为语义缓存，基于向量数据库做嵌入相似度检索，支持可配置相似度阈值，后端可选 Qdrant、Weaviate、Pinecone。请求未命中各级缓存时才调用 LLM 提供商。
缓存键生成：使用 SHA-256 对模型、消息（角色与内容）、temperature、top_p、max_tokens 及 tools 等参数做确定性哈希，生成 chat: 前缀键；语义键则提取最后一条用户消息，格式为 semantic:{model}:{message}。
使用方式：资料给出 Rust 代码示例，包括 InMemoryCache 的 get/set/invalidate/clear，RedisCache 的连接、get/set/delete、JSON 序列化读写、mget 批量获取与 delete_pattern 模式删除，以及 VectorCache trait 与 QdrantCache 的 search/insert/delete 实现。
适用场景：需要为 LLM 请求做精确或语义缓存、降低重复调用成本、控制响应延迟的服务。
限制：资料未提供具体安装命令、配置项默认值、性能基准数据、收费信息及完整部署步骤；部分代码示例在资料中未完整结束。