用途:帮助团队把 RAG(检索增强生成)系统可靠、可扩展、可维护地部署到生产环境,以清单形式覆盖上线前、部署中与部署后的关键检查点。
主要能力:
- 上线前检查:数据与索引(文档管道、摄取来源、按类型解析、分块策略基准测试、元数据抽取、索引刷新策略含实时/定时/按需、过期文档检测、增量更新、去重、空或损坏文档处理、PII 检测、来源校验);检索(向量、混合、GraphRAG 策略选择,重排序,嵌入模型与维度、批量嵌入、嵌入版本管理,向量库选型如 Pinecone、Weaviate、Qdrant,分片与副本、备份恢复);生成(LLM 选型与成本质量权衡、温度参数、上下文窗口、回退模型、系统提示词、少样本示例、输出格式、护栏)。
- 架构模式:给出负载均衡 + 无状态 API 服务 + Redis 查询缓存 + 向量库 + LLM 网关的基础生产架构示意;LLM 无关设计(抽象 LLMProvider,OpenAI/Anthropic 实现,RAGService 组合检索与生成)。
- 缓存策略:查询缓存(Redis,MD5 键,TTL)与嵌入缓存(7 天 TTL)。
- 错误处理与回退:检索超时(5 秒)与异常时使用空上下文,主 LLM 失败切换回退 LLM,返回状态 success/fallback/no_results/error。
- 可观测性:structlog 结构化日志记录请求 ID、检索与生成耗时、文档数、答案长度;Prometheus 指标(查询计数、延迟直方图、索引文档数);仪表盘告警阈值(P95 延迟 >5 秒、错误率 >5%、缓存命中率 <50%、空结果率 >20%、LLM 回退率 >10%)。
- 安全清单:输入校验(查询长度限制、提示注入检测、按用户限流)、数据保护(响应 PII 过滤、文档访问控制、审计日志)、API 安全(认证、仅 HTTPS、密钥轮换)。
- 成本优化:CostAwareRAG 按月度预算估算成本,超预算时改用更便宜模型。
- 部署清单:预部署(负载测试、评估指标达标、回滚方案、值班轮换)、部署(10% 金丝雀、监控错误率与延迟、逐步放量)、部署后(指标稳定、缓存命中率、用户反馈、一周后首次复盘)。
使用方式:作为部署 RAG 系统的检查表逐项核对,并参考其中的架构与代码模式实现缓存、回退、监控与成本控制。
适用场景:将 RAG 从原型推向生产、扩展检索规模、提升可靠性与可维护性的工程团队。
限制:资料未提供具体安装命令、依赖版本、定价或性能基准数据;代码示例为示意性实现,需按实际技术栈调整。