SuperAPI AI 工具集

alibabacloud-safety-checker

编程与开发

查看项目

更新于 10-15 19:55

技能介绍

用途:面向阿里云内容安全与AI安全护栏的自动化测试,覆盖从场景选择、控制台配置、批量测试到标注分析的全流程,同时支持AI安全护栏效果测试。

主要能力:内置AI陪聊、游戏聊天室、通用Chat/社交、零售电商、资讯新闻等场景模板;支持JSON/CSV/Excel样本,长文本可自动切分;可批量调用审核服务并对比多服务结果;提供人工标注(正确/误判/漏判/不确定/跳过)与对齐分析报告(按服务、模态、类别的准确率、误判率、漏判率)。AI安全护栏支持内容合规、敏感内容检测、提示词攻击检测三维度,可测试AI输入检测与AI生成检测,输出JSON/XLSX/HTML报告。

使用方式:设置工作目录 SAFETY_DIR=~/.qoderwork/skills/safety-checker,安装依赖 pip install -r $SAFETY_DIR/scripts/requirements.txt,验证连通性 python3 $SAFETY_DIR/verify_auth.py。查看场景 python3 ~/.qoderwork/skills/safety-checker/scenario_manager.py list;配置控制台可用 console_automator.py 或生成指南;运行测试 python3 ~/.qoderwork/skills/safety-checker/main.py run --samples <样本文件> --concurrent 10 --format xlsx;标注与报告用 main.py annotate/report;护栏测试用 ai_guardrail.py,或经 cst.py guardrail 调用。命令须用绝对路径,每步只执行一次。

适用场景:内容审核服务选型对比、审核效果回归测试、AI大模型应用与Agent的安全护栏效果验证。

限制:依赖阿里云默认凭证链;Region不可用时需切换cn-shanghai或cn-beijing;敏感内容检测与提示词攻击检测默认关闭且单独计费,未开启时对应字段为空;控制台配置保存后需等待2-5分钟生效;浏览器登录需用户手动完成。具体价格、配额等资料暂未提供。