SuperAPI AI 工具集

llm-output-privacy-risk

智能体与模型

查看项目

更新于 10-16 09:33

技能介绍

该技能面向大语言模型输出环节的隐私风险评估,重点针对四类风险:训练数据记忆化(模型可逐字复现姓名、邮箱、电话等PII)、生成文本中的PII泄露(包括逐字复现、信息重组、模式补全与上下文泄露)、提示注入与数据提取(直接/间接注入、系统提示提取、多轮渐进提取、越狱),以及幻觉个人信息(虚假归因、伪造资历、虚构PII、编造关系)。

评估框架从五个维度加权评分:记忆化暴露25%、PII泄露可能性25%、提示注入韧性20%、幻觉风险15%、监控覆盖15%,总分0-100对应低、中、偏高、高、严重五档,并给出相应处置动作。

缓解措施分三类:预部署包括训练数据去重、训练前PII清洗、差分隐私训练、RLHF安全对齐与指令微调;运行时包括输出PII扫描器、正则PII过滤、输入提示分类器、检索接地、限速与多轮对话监控;部署后监控涵盖PII检出率、注入检出率、用户报告、提取模式与幻觉投诉的告警阈值。

资料还给出输出扫描的PII类别与处置方式(如邮箱、电话脱敏并记录,国家ID、信用卡、医疗信息阻断并告警),以及输入过滤→LLM→输出PII扫描→交付的控制架构流程。适用场景为部署LLM前的隐私合规评估与运行期监控设计,限制在于部分措施效果依赖模型与数据条件,且资料未提供具体实现代码、工具版本或定价信息。