用途
该技能覆盖构建由大语言模型驱动的应用的完整范围，包括检索增强生成（RAG）流水线、向量数据库集成、提示工程技巧、结构化输出生成、工具使用与智能体模式、评估框架、成本优化以及流式响应处理。当你在构建聊天机器人、AI 助手、知识检索系统、内容生成工具、自主智能体，或任何将 LLM 能力集成到核心功能中的应用时，可使用该技能。
核心原则
- 检索优于记忆：使用 RAG 让 LLM 回答基于真实数据，而非依赖模型的参数化记忆，从而减少幻觉并保持答案时效性。
- 结构化输入输出边界：为输入（系统提示、上下文）和输出（通过函数调用或 Zod schema 得到的类型化响应）定义严格模式，不要将原始 LLM 文本直接用于下游逻辑。
- 上线前评估：每个 LLM 功能都需要自动化评估。模型输出是非确定性的，没有评估就无法衡量回归或改进。
- 成本感知架构：token 用量决定成本，应积极缓存、选择满足质量要求的最小模型，并尽可能批处理。
- 优雅失败：LLM 可能拒绝、产生幻觉或超时，每条调用路径都需要回退行为、重试逻辑和用户可见的错误状态。
主要能力（关键模式）
模式 1：RAG 流水线架构
适用场景：当 LLM 需要访问超出上下文窗口限制的私有、大规模或频繁更新的知识时。
实现要点：使用 RecursiveCharacterTextSplitter 进行分块（chunkSize 1000、chunkOverlap 200）；使用 OpenAIEmbeddings（text-embedding-3-small，1536 维）生成向量；使用 PGVectorStore 存储到向量数据库；通过 similaritySearchWithScore 检索并按相关性阈值过滤；将检索到的上下文拼入提示词，要求模型仅依据上下文回答。
原因：RAG 将知识存储与推理分离，LLM 专注于综合答案，向量数据库负责规模化检索，支持在不重新训练的情况下更新知识，并通过只包含相关上下文控制 token 成本。
模式 2：使用 Zod Schema 的结构化输出
适用场景：当 LLM 输出需要进入下游逻辑、API 或 UI 渲染，且需要类型化、经过验证的数据时。
实现要点：用 Zod 定义输出 schema（如情感、置信度、主题、摘要、行动项）；使用 openai.beta.chat.completions.parse 配合 zodResponseFormat 获取解析后的结构化结果；解析失败时抛出错误。
原因：结构化输出消除了对 LLM 文本的脆弱正则解析，模型被约束为生成符合 schema 的合法 JSON，为渲染 UI、存储数据库或传递给其他服务提供类型安全的数据。
模式 3：工具使用与 AI 智能体
适用场景：当 LLM 需要执行动作（搜索、计算、调用 API、修改数据）而不仅是生成文本时。
实现要点：定义工具（如 search_knowledge_base、create_support_ticket）及其参数 schema；实现工具处理函数；运行智能体循环，让模型自主决定调用哪些工具，设置最大迭代次数（如 10）防止失控执行；将工具结果以 tool 角色消息回传。
原因：工具使用将 LLM 从文本生成器转变为可查询数据库、调用 API、编排工作流的执行者；智能体循环赋予模型自主性，迭代上限防止无限执行。
模式 4：用于成本优化的语义缓存
适用场景：当相似查询常见且新鲜度要求允许缓存时。
实现要点：结合精确匹配缓存（SHA-256 哈希）与语义相似度缓存（嵌入向量 + 余弦相似度，阈值如 0.95）；使用 Redis 存储，设置 TTL（如 3600 秒）。
原因：LLM API 调用昂贵且缓慢，语义缓存不仅能命中完全相同的查询，还能命中改述的查询，对重复查询模式（FAQ 机器人、客户支持、搜索）可显著降低成本。
模式 5：流式响应
适用场景：任何面向用户的 LLM 交互，且感知延迟重要时。
实现要点：服务端使用 OpenAI 流式接口，将流转换为 ReadableStream，以 SSE（text/event-stream）格式发送；客户端使用 React hook 读取流并逐块更新消息。
原因：没有流式时用户面对空白屏幕 2-10 秒；流式在 token 到达时即显示，将首 token 感知延迟降至 500ms 以内，是面向用户 LLM 功能的基本要求。
模式 6：LLM 输出评估
适用场景：在将任何 LLM 功能部署到生产之前，以及作为持续的回归测试。
实现要点：定义评估数据集（输入、期望输出、标签）；编写自定义评分函数（如事实准确性、答案相关性，可用 LLM 作为评判者）；使用 braintrust 的 evaluate 运行评估。
使用方式
该技能以模式与代码示例的形式提供实现指导，涵盖 TypeScript 代码示例，涉及 @langchain/openai、@langchain/community、langchain、zod、openai、ioredis、braintrust 等库。具体安装命令、完整评估流程的后续内容在提供的资料中未完整给出，暂未提供。
适用场景
聊天机器人、AI 助手、知识检索系统、内容生成工具、自主智能体，以及任何将 LLM 能力集成到核心功能中的应用。
限制
资料未提供该技能的收费、价格、平台支持范围、性能指标或效果保证等信息，暂未提供。