SuperAPI AI 工具集

agentforce-secure

智能体与模型

查看项目

更新于 10-15 23:24

技能介绍

用途:对已部署的 Agentforce 智能体执行 OWASP LLM Top 10 安全评估,通过 sf agent preview 发送对抗性载荷,判断智能体能否抵御攻击。

主要能力:覆盖 7 个 OWASP 类别共 57 项静态测试——LLM01 提示注入(9)、LLM02 敏感信息泄露(10)、LLM05 输出处理不当(7)、LLM06 过度代理(8)、LLM07 系统提示泄露(10)、LLM09 错误信息(7)、LLM10 无界消耗(6),按严重度加权评分并给出 A–F 等级。提供三种模式:Quick Scan(约 2 分钟,15 项高严重度测试)、Full Assessment(约 5 分钟,全部 57 项)、Full + Dynamic(约 7 分钟,先检索智能体配置生成 5–10 项专属动态测试,再以 --mode full 运行)。评估采用 LLM-as-judge,无模式匹配步骤。

使用方式:需安装 sf CLI(v2.121.7+)、已认证目标 org、智能体可通过 preview 访问,并安装 pip install pyyaml>=6.0。流程分阶段:解析智能体(查询 GenAiPlannerDefinition 获取 DeveloperName,验证 preview 连通性)、加载载荷并生成动态测试、用插件自带 security_runner.py 执行、逐条判定 PASS/FAIL/INCONCLUSIVE、用 security_scoring.py 评分、用 security_report.py 生成可打印为 PDF 的 HTML 报告。运行示例:python3 "$PLUGIN_DIR/security_runner.py" --org <org-alias> --agent <AGENT_BUNDLE_NAME> --mode <quick|full> --output /tmp/security_results.json --project-dir <sf-project-path>。可选 --categories、--delay、--no-live。

适用场景:部署前快速验证、生产上线前安全签核、针对特定智能体攻击面的定制化红队测试。

限制:必须使用插件自带脚本,不得自行编写 runner、报告或评分脚本;每次 sf CLI 调用 60 秒超时,超时测试标记 error 并排除评分;遇 429 需加 --delay;Windows 需替换 python3、/tmp/ 等路径写法;动态测试依赖能检索到 .agent 配置。评分权重为 CRITICAL 25、HIGH 15、MEDIUM 8、LOW 3 分。