用途
llm-app-patterns 提供构建 LLM 应用的生产级模式,灵感来自 Dify 与行业最佳实践。当需要设计 LLM 驱动的应用、实现 RAG(检索增强生成)、构建带工具的 AI 智能体、搭建 LLMOps 监控,或在多种智能体架构之间做选择时,可使用该技能。
主要能力
1. RAG 流水线架构
RAG 通过检索让 LLM 的回答基于自有数据,整体流程为:文档摄取 → 检索上下文 → 生成回答。
文档摄取部分给出多种切分策略:固定大小切分(如 512 tokens,简单但可能破坏上下文)、语义切分(按段落/章节保留含义)、递归切分(尝试多个分隔符,如 ["\n\n", "\n", " ", ""])、文档感知切分(遵循标题、列表等结构)。推荐配置为 chunk_size 512 tokens、chunk_overlap 50 tokens,分隔符为 ["\n\n", "\n", ". ", " "]。
嵌入与存储部分列出向量数据库选项:Pinecone(生产、托管服务,可扩展至数十亿向量,支持混合搜索与元数据过滤)、Weaviate(自托管、多模态,数百万向量,提供 GraphQL API 与模块)、ChromaDB(开发与原型,数千向量,API 简单、支持内存模式)、pgvector(复用现有 Postgres 基础设施,数百万向量,SQL 集成与 ACID 合规)。嵌入模型选项包括 openai/text-embedding-3-small(1536 维,$0.02/1M tokens,适合多数场景)、openai/text-embedding-3-large(3072 维,$0.13/1M tokens,适合复杂查询)、local/bge-large(1024 维,仅计算成本,质量与 OpenAI small 相当)。
检索策略包括:基础语义搜索(对查询做嵌入后做相似度搜索,返回 top_k);混合搜索(语义 + 关键词,alpha=1.0 为纯语义、0.0 为纯关键词 BM25、0.5 为平衡,使用 Reciprocal Rank Fusion 合并);多查询检索(生成多个查询变体以提升召回,再去重);上下文压缩(先检索再压缩为仅相关部分)。
生成阶段给出 RAG 提示模板,要求仅基于给定上下文回答,信息不足时明确说明,并返回答案与来源引用。
2. 智能体架构
ReAct 模式(推理 + 行动):以 Thought / Action / Observation 循环推进,直到输出 Final Answer;示例 ReActAgent 设置 max_iterations 为 10,超出则返回“Max iterations reached”。
函数调用模式:以带 schema 的工具定义(如 search_web、calculate)配合 chat 接口,tool_choice 为 auto,循环执行工具调用并把结果作为 tool 角色消息回传,直到模型不再请求工具。
计划执行模式:先由 planner 创建步骤计划,再逐步执行,必要时根据已完成结果重新规划,最后由 synthesizer 汇总。
多智能体协作:由协调者分解任务,分派给 researcher、analyst、writer、critic 等专用智能体执行,critic 审查后若需修订则带反馈迭代,否则由协调者综合结果。
3. 提示词 IDE 模式
提示模板与变量:PromptTemplate 支持变量校验(缺失变量抛错)与 few-shot 示例拼接。
提示版本管理与 A/B 测试:PromptRegistry 支持注册带版本的提示、按版本获取、按用户分桶返回变体、记录效果指标。
提示链:PromptChain 将多个提示串联,前一步输出作为后一步输入,支持解析器与中间结果记录;示例链为 研究 → 分析 → 总结。
4. LLMOps 与可观测性
需要追踪的指标分为四类:性能(latency_p50、latency_p99、tokens_per_second)、质量(user_satisfaction、task_completion、hallucination_rate)、成本(cost_per_request、tokens_per_request、cache_hit_rate)、可靠性(error_rate、timeout_rate、retry_rate)。
日志与追踪:LLMLogger 记录请求与响应(模型、提示截断、token 数、温度、用户 ID、延迟、结束原因、成本等);使用 OpenTelemetry 做分布式追踪,为 llm_call 建立 span 并记录提示长度、响应长度与总 token 数。
评估框架:LLMEvaluator 对回答进行评分,示例包含 relevance(是否回答了问题)等维度。
使用方式
该技能以模式与代码示例形式提供,包含 Python 类与函数片段、提示模板、配置字典等,可直接参考并集成到 LLM 应用开发中。具体安装命令与运行方式暂未提供。
适用场景
设计 LLM 驱动应用、实现 RAG、构建带工具的 AI 智能体、搭建 LLMOps 监控、在多种智能体架构间做选择。
限制
资料未提供完整的评估维度、部署方式、支持的模型清单、许可协议与价格信息,相关事实暂未提供。