SuperAPI AI 工具集

llm-safety-patterns

智能体与模型

查看项目

更新于 10-16 04:33

技能介绍

用途:为 LLM 集成提供安全模式,重点在上下文分离、提示注入防御与幻觉预防。核心原则是标识符绕过 LLM 而非穿过 LLM——模型只接收内容,归属由系统确定性地完成。

主要能力:

  1. 上下文分离:user_id、tenant_id、analysis_id、document_id 等标识符禁止进入提示词,避免被幻觉、混淆、注入、泄漏或跨租户引用。
  2. 预 LLM 过滤:按租户与用户过滤检索数据,只提取内容文本,另存来源引用(document_ids、chunk_ids)。
  3. 提示审计:用正则检查禁用模式,如 user[-]?id、tenant[-]?id 及 UUID 模式 [0-9a-f]{8}-...,发现违规即抛错。
  4. LLM 调用:提示词只含内容与上下文文本,不含任何 ID。
  5. 后 LLM 归属:用系统上下文与预存引用确定性地附加 ID 与来源,不采用模型生成的 ID。
  6. 输出校验:校验 schema、护栏(无有害内容)、接地性(陈述有上下文支持)、无幻觉 UUID。

关键决策:ID 处理采用绕过模型;输出校验采用 schema+护栏+接地三重防御;归属采用确定性后置;提示审计采用正则匹配。

适用场景:RAG 管道、多租户内容分析、需要来源追踪与引用的 LLM 工作流。

必要用法:在 OrchestKit 中,内容分析工作流位于 backend/app/workflows/,服务位于 backend/app/services/embeddings/(预 LLM 过滤)与 backend/app/services/analysis/(后 LLM 归属),需在相关提示与任务中加入审计与归属。每次 LLM 调用前的检查清单:RequestContext 可用、数据按 tenant_id 与 user_id 过滤、内容不含 ID、来源引用已保存、提示通过审计、输出使用前已校验、归属使用上下文而非模型输出。

限制与相关技能:版本 1.0.0(2025 年 12 月)。与 input-validation、rag-retrieval、llm-evaluation、security-scanning、defense-in-depth 相关。具体安装与运行细节暂未提供。