SuperAPI AI 工具集

azure-ai-contentsafety-py

编程与开发

查看项目

更新于 10-16 07:26

技能介绍

用途:Azure AI Content Safety Python SDK 用于在应用中检测用户生成和 AI 生成的有害内容,覆盖文本与图像两类输入,并按类别和严重度分级。

主要能力:文本分析可识别 Hate、Sexual、Violence、SelfHarm 四类有害内容;图像分析同样返回各类别严重度。默认文本返回 4 级严重度(0、2、4、6),可通过 AnalyzeTextOutputType.EIGHT_SEVERITY_LEVELS 切换为 8 级(0-7)。BlocklistClient 支持创建、更新自定义文本阻止列表并添加阻止项,分析时可指定 blocklist_names 与 halt_on_blocklist_hit。

使用方式:安装命令为 pip install azure-ai-contentsafety。需配置环境变量 CONTENT_SAFETY_ENDPOINT 与 CONTENT_SAFETY_KEY。认证支持 API Key(AzureKeyCredential)或 Entra ID(DefaultAzureCredential)。文本分析使用 ContentSafetyClient.analyze_text 并传入 AnalyzeTextOptions;图像分析使用 analyze_image,ImageData 可传 base64 内容或 blob_url。阻止列表通过 BlocklistClient 的 create_or_update_text_blocklist 与 add_or_update_blocklist_items 管理。

适用场景:适合需要在应用中对用户输入或模型输出做内容安全审核的场景,例如社区、聊天、生成式 AI 应用。

限制:资料未提供具体定价、配额、区域可用性及性能数据;严重度阈值等最佳实践内容在资料中不完整。