用途:治理自主(agentic)AI 系统如何调用工具或插件。资料指出,智能体基于不可信输入自行决定调用哪个工具、传什么参数、何时调用,使工具调用边界成为最高风险控制点,一次成功的提示注入或被投毒的工具即可让智能体沦为“混乱代理”,删除数据、转账或横向进入关联系统。相关威胁对应 MITRE ATLAS AML.T0053(LLM 插件失陷)以及 OWASP Agentic AI Top 10 中的工具滥用、过度代理和权限失陷。
主要能力(五层纵深防御):1)工具白名单,默认拒绝,限定可调用的工具及参数形态;2)按调用绑定最小权限、短期凭证,而非共用全能服务账号;3)调用边界处的策略执行,可用 NVIDIA NeMo Guardrails 的对话/流程轨与工具轨,或确定性的策略包装器;4)对高影响操作要求人工介入(HITL)审批;5)记录每次调用的审计日志以供检测。技能给出了可运行的模式与验证标准。
使用方式:需 Python 3.10+ 与虚拟环境及可控制的智能体/LLM 框架,安装命令为 python -m venv .venv && source .venv/bin/activate、pip install nemoguardrails、pip install jsonschema,可选 pip install boto3 用于发放受限凭证。流程为:清点工具并按只读/写入/高影响分级;为每个工具定义参数 JSON Schema 并逐调用校验;按会话签发短期受限身份(示例用 AWS STS assume_role,DurationSeconds=900);所有调用经过集中策略门,返回 allow、require_approval 或 deny;高影响工具阻塞等待授权人明确批准,超时或非批准一律拒绝(fail-closed);用 NeMo Guardrails 装载配置约束输入输出与工具行为;将决策(含 actor、工具、参数 SHA-256、决定)送入 SIEM,并对拒绝/审批激增告警。
适用场景:构建或加固会产生真实副作用的智能体(邮件、支付、文件写入、基础设施变更、代码执行);将 OWASP Agentic AI Top 10 控制映射到既有框架;限制提示注入与工具投毒的影响半径;合规或治理要求自主操作具备审批与审计;对智能体工具层做架构评审。
限制与授权使用:资料为防御性技能,仅限在自有或自运营系统部署,仅在非生产环境、针对自己的智能体测试护栏绕过。工具白名单需持续复查,按实际需要收紧。具体的企业身份系统集成、审批渠道实现和 SIEM 对接细节资料未提供完整生产方案。