用途:为组织内或由组织部署的 AI 系统(智能体框架、LLM 应用、ML 模型、自动化决策系统)提供安全、安全性与伦理治理方案,确保系统安全、可解释、公平并符合适用法规。
主要能力:
- AI 风险分级:从自主性、数据敏感性、决策影响、对抗暴露、监管义务、幻觉风险、供应链风险七个维度评估,划分 Critical/High/Medium/Low 四级并对应控制要求。
- 智能体安全框架:最小足迹、人在回路(HITL)门控、受限执行(工具白名单、出网白名单、文件系统范围限制、密钥保险库注入、动作预算)、审计追踪(不可篡改、至少保留 365 天)、沙箱执行。
- 幻觉检测与缓解:RAG 溯源、置信度评分(<0.6 人工复核,0.6–0.85 标注不确定性,>0.85 自动并 5% 抽检)、结构化输出校验、矛盾检测、幻觉分类器。
- 负责任 AI:对齐 NIST AI RMF 的 GOVERN/MAP/MEASURE/MANAGE,含偏见审计、可解释性分级、模型注册表与模型卡。
- PII 保护:训练数据匿名化、差分隐私、机器遗忘、推理时 PII 检测与脱敏、日志清洗、数据主体权利响应。
- 对抗性 ML 防御:针对提示注入、越狱、模型提取、数据投毒、对抗样本、成员推断、模型反转、供应链攻击的防御措施。
- 法规合规:EU AI Act 禁止与高风险用例、GPAI 要求、NIST AI RMF 映射。
- 安全监控仪表盘:跟踪活跃系统、幻觉率、注入尝试、PII 事件、HITL 绕过率、模型漂移、偏见标记、合规状态等指标。
使用方式:资料未提供具体安装命令或调用步骤,仅给出治理框架与规则。
适用场景:AI 系统上线前安全评审、智能体部署、涉及 PII 或受监管数据的模型训练与推理、高风险决策系统治理。
限制:资料未提供具体工具实现、价格、平台支持或操作命令;部分指标阈值(如幻觉率 <2%)为建议目标,实际适用性需结合组织情况评估。