SuperAPI AI 工具集

securing-ai-systems

安全与审计

查看项目

更新于 10-16 02:29

技能介绍

用途:对 LLM 应用、聊天机器人、Copilot 及智能体系统做安全审查与加固,覆盖提示注入(直接/间接)、工具滥用与过度代理、记忆投毒、RAG 数据泄露、模型与数据供应链、MCP 服务器与工具定义等方向。核心规则是把所有模型输出当作不可信用户输入,把模型读到的一切输入视为潜在对抗指令。关键判断是“致命三元组”:同时具备私有数据访问、不可信内容暴露、对外通信能力时风险最高,打断任一条即可缓解。

主要能力包括:依据真实摄取路径做间接注入测试;检查工具边界使用的身份与服务器端授权,识别“困惑代理”模式;核对 RAG 租户过滤是否在向量查询中执行、记忆是否持久保存攻击者文本;审查模型权重格式与来源(建议 safetensors,可用 picklescan -p model.pt、modelscan -p ./models/ 扫描);审查 MCP 服务器的版本固定、凭据与跨服务器泄露。

使用方式:按“映射输入→模型→工具/汇点、分类信任边界、判断三元组、核对身份、测试、评估影响、修复”的流程执行,测试须通过真实摄取路径而非聊天框。修复优先架构约束(能力限制、人工审批、出口白名单、子代理隔离),而非提示词层面的防御。

限制:不适用于周边应用的传统 Web/API 漏洞(应改用代码审计、Web 测试、API 测试,多数真实 AI 应用泄露仍是普通 IDOR 与 SSRF);不适用于越狱或未授权攻击第三方模型;不属于模型安全对齐研究。系统提示词、注入模式过滤、输出分类器单独使用均不足以作为控制措施。引用外部来源可选用 curl -sL "https://defuddle.md/<url>",但 JSON/API 响应、需认证或 JS 渲染的页面不宜经此获取,且不得用于对手基础设施或客户主机。测试用例详见 references/ai-test-cases.md,另有 OWASP LLM/Agentic Top 10、MITRE ATLAS、NIST AI RMF 等参考。