SuperAPI AI 工具集

pii-in-unstructured

设计与创作

查看项目

更新于 10-16 01:30

技能介绍

用途:检测邮件、文档、图片、聊天日志、通话转录和系统日志等非结构化数据中的个人身份信息(PII),用于隐私合规与数据发现。

主要能力:采用Microsoft Presidio与spaCy框架,并行运行多种识别器,包括基于transformer的NER模型(识别PERSON、ORG、GPE、DATE、MONEY等)、正则模式识别(邮箱、UK国民保险号、英国电话、IBAN、信用卡(含Luhn校验)、IPv4、出生日期等)以及组织自定义识别器,并提供上下文增强(关键词邻近、章节标题加权、代码块负向降权)。OCR环节支持Tesseract或Azure AI Document Intelligence,按扫描件类型(护照、账单、医疗证明、合同、支票)选择策略,并依据OCR质量调整置信度。

置信度框架:模式匹配占40%、NER模型占30%、上下文增强占20%、来源质量占10%;HIGH(85-100%)自动分类标注,MEDIUM(70-84%)转人工复核,LOW(50-69%)仅记录审计,低于50%抑制。

使用方式:提供概念性流程示例,包括邮件扫描管线(Graph API取信、正文与附件文本提取、Presidio分析、映射元数据、Purview打标)、日志扫描与聊天消息扫描策略(按会话线程扫描以保留上下文)。

适用场景:企业非结构化数据隐私合规、数据清单扩展、敏感度标签自动应用、分类策略输入。

限制:文档未给出完整可运行代码与安装命令,示例仅为概念性管线;OCR对低质量图像、手写和口音转录存在精度损失;准确率目标仅为参考基准,实际效果依数据源而定。