SuperAPI AI 工具集

defending-llms-with-guardrails

智能体与模型

查看项目

更新于 10-16 01:29

技能介绍

用途:为生产环境 LLM/RAG/智能体应用提供运行时安全层,在数据进入和离开模型时进行检查与约束,对应 MITRE ATLAS AML.T0054(LLM 越狱)的缓解措施。

三大互补组件:Llama Guard 3(Meta)是基于 Llama-3.1-8B 微调的安全分类器,接收安全或不安全及 MLCommons 危害类别 S1–S14,支持提示、回复、工具调用分类与 8 种语言。NeMo Guardrails(NVIDIA)是可编程对话护栏,用 config.yml 加 Colang 流程定义输入、输出、对话、检索与执行护栏,可调用外部模型。LLM Guard(Protect AI)是扫描流水线,含 15 个输入扫描器与 20 个输出扫描器,返回净化文本、有效标志与风险分。

使用方式:需 Python 3.9+,Llama Guard 3 8B 建议 GPU 并接受 Meta Llama 许可。安装命令:python -m pip install llm-guard;python -m pip install nemoguardrails;python -m pip install "transformers>=4.43" torch accelerate huggingface_hub,随后执行 huggingface-cli login。

场景与限制:适用于上线前阻断越狱与注入、审核模型输出、验证护栏配置、构建确定性扫描加语义分类加对话护栏的纵深防御。仅可对自有或经授权的系统测试。具体收费、性能数据与完整实现细节资料未提供。