SuperAPI AI 工具集

azure-ai-content-safety

安全与审计

查看项目

更新于 10-16 02:29

技能介绍

用途:为生成式 AI 应用(聊天助手、智能体、RAG、多模态产品)提供输入与输出护栏,实时审核文本、图像和多模态内容。

主要能力:文本与图像审核按仇恨、暴力、性、自残四类分级(严重度 0–7);多模态审核结合文本与图像上下文;Prompt Shields 检测用户提示中的越狱尝试,以及不可信接地内容(RAG 文档、工具结果、网页)中的间接注入;Groundedness 检测对照接地来源识别幻觉;受保护材料检测识别逐字复制的受版权文本与公开仓库代码;支持自定义危害类别与精确匹配/正则阻止列表。

使用方式:先启用 Azure OpenAI 默认内容过滤器(四类中等级别),再按场景调整严重度阈值(如儿童产品在 2 级拦截,成人创作应用在 6 级拦截),在 Azure OpenAI Studio 编写自定义内容过滤器并分配给部署。面向用户的聊天或智能体应启用 Prompt Shields,接地内容在进入模型前先做间接注入检测。RAG 应用在模型输出后调用 Groundedness 检测并标记或拒绝无依据内容。规模化生成文本或代码的产品应启用受保护材料检测。自定义类别需在 Content Safety Studio 用每类约 100 个示例训练。

架构建议:请求 → Prompt Shield → LLM 调用 → 输出分类器(危害、接地性、受保护材料)→ 响应;Content Safety 调用出错时应失败关闭,不返回未受控的 LLM 输出;记录每次允许/拦截/标记决策用于审计与调优。每个护栏增加约 50–300ms 延迟,可并行输入输出检查并在首次硬拦截时短路。

适用场景:聊天助手、智能体、RAG 客服、医疗/法律/金融高风险问答、面向青少年的产品、SaaS 文案工具、开发者代码助手等。

限制:默认过滤器只是基线,不构成完整安全策略;不要向终端用户暴露危害类别分数;间接提示注入风险常被低估;Groundedness 需提供接地来源,纯聊天应用不适用;自定义类别不能替代产品政策;受保护材料检测为尽力而为,版权审查属法律流程;Content Safety 按调用计费,高流量应用需成本建模,Groundedness 较贵应按场景启用。本技能不适用于 AI 工作负载的 SOC 威胁检测、终端用户 AI 使用治理或通用 AI 应用架构。

参考文档:https://learn.microsoft.com/azure/ai-services/content-safety/overview