SuperAPI AI 工具集

azure-ai-contentsafety-ts

通用与其它

查看项目

更新于 10-16 01:13

技能介绍

用途:该技能面向 TypeScript 项目,分析文本和图像中的有害内容,并支持自定义阻止列表来补充审核规则。主要能力:识别 Hate、Sexual、Violence、SelfHarm 四类有害内容;返回严重级别(四档默认 0/2/4/6,或八档 0-7);可创建、更新、删除阻止列表并增删词条,分析时命中阻止列表会返回匹配结果。使用方式:先安装 npm install @azure-rest/ai-content-safety @azure/identity @azure/core-auth。环境变量 CONTENT_SAFETY_ENDPOINT 和 CONTENT_SAFETY_KEY。注意 ContentSafetyClient 是函数而非类,可用 AzureKeyCredential 或 DefaultAzureCredential 认证。文本分析调用 /text:analyze,图像分析调用 /image:analyze,图像可传 base64 或 blobUrl。用 isUnexpected() 做类型保护判断错误。阻止列表通过 PATCH /text/blocklists/{name} 创建,POST ...:addOrUpdateBlocklistItems 添加词条。适用场景:对用户生成文本和图片进行内容审核、配合自定义禁止词做领域定制过滤、记录审核决策形成审计链路。限制:需要 Azure 内容安全资源与有效凭据;使用前应设置合适的严重级别阈值,不同类别阈值可能不同;需处理空文本、超长文本、不支持的图像格式等边界情况;输出不应替代针对具体环境的验证、测试和专家评审;若缺少输入、权限、安全边界或成功标准,应暂停并请求澄清。其他收费、价格、平台与效果信息暂未提供。