用途:Azure AI Content Safety SDK for Python,检测应用中的有害用户生成内容和 AI 生成内容,覆盖文本与图像。
安装:pip install azure-ai-contentsafety
环境变量:CONTENT_SAFETY_ENDPOINT 与 CONTENT_SAFETY_KEY。
认证:支持 API Key(AzureKeyCredential)和 Entra ID(DefaultAzureCredential)。
主要能力:ContentSafetyClient 分析文本和图像;BlocklistClient 管理自定义屏蔽列表。文本分析返回类别分析,涵盖 Hate、Sexual、Violence、SelfHarm 四类。默认返回 4 个严重级别(0、2、4、6),可选用 AnalyzeTextOutputType.EIGHT_SEVERITY_LEVELS 获得 0-7 的 8 级别。图像分析支持本地文件 base64 或 blob_url。屏蔽列表可创建、添加条目,并在文本分析时通过 blocklist_names 与 halt_on_blocklist_hit 立即拒绝命中内容。
适用场景:对用户输入或 AI 输出进行预审核,针对领域术语配置屏蔽词,按业务设置严重程度阈值。
限制:仅在任务明确匹配上述范围时使用;输出不能替代环境特定验证、测试或专家审查;缺少必要输入、权限、安全边界或成功标准时应停止并寻求澄清。