SuperAPI AI 工具集

continuous-monitoring

安全与审计

查看项目

更新于 10-16 08:06

技能介绍

用途:在生产 AI 系统中实时检测对抗攻击与模型退化,面向运行期安全与质量保障。

主要能力:输入异常检测(基于训练分布的马氏距离、注入模式匹配,延迟约 10-20ms,检出率约 85-95%);输出质量监测(置信度、连贯性、毒性、延迟);模型漂移检测(数据漂移用 KL 散度、概念漂移用滑动窗口准确率、预测漂移);安全事件监测(模型提取、越狱、速率滥用)。

使用方式:按类别配置检测器与告警阈值,例如 input_anomaly 警告 2.5、严重 4.0 个标准差;output_toxicity 警告 0.3、严重 0.7;model_drift 警告 0.05、严重 0.10;extraction_queries 警告 500/小时、严重 1000/小时。输出通过告警系统进入事件响应,可结合仪表板查看实时指标,并与 Prometheus/Grafana 集成做指标可视化。

适用场景:线上推理服务的攻击检测、模型漂移监控、滥用防护。

限制:资料未提供具体部署步骤、依赖安装命令、完整配置方式与生产实测数据;文档以示例代码说明检测逻辑,阈值与延迟指标需按实际环境验证。

关联:OWASP LLM10(无限制消耗)、LLM02(敏感信息泄露);NIST Measure、Manage。