SuperAPI AI 工具集

openai-privacy-filter

安全与审计

查看项目

更新于 10-15 16:46

技能介绍

用途:检测并遮蔽文本中的个人身份信息(PII),可集成到数据清洗、上传大模型前脱敏、PII 审计等流程。

主要能力:可识别账户/银行卡号、地址、邮箱、人名、电话、个人 URL、个人日期、凭据与密钥等类别;单次前向传播并采用约束 Viterbi 解码,支持 128k token 上下文;提供 high_recall、high_precision、默认平衡三种操作点调节精确率/召回率;支持单条与批量处理,可只遮蔽指定标签,也可仅记录 span 不做遮蔽。

安装与用法:pip install -e .,或 git clone https://github.com/openai/privacy-filter 后 cd privacy-filter 再 pip install -e .。安装后可用 opf CLI,首次运行自动下载检查点到 ~/.opf/privacy_filter,也可设置 OPF_CHECKPOINT 指定本地目录。示例:opf "Alice was born on 1990-01-02 and her email is alice@example.com.";opf --device cpu "...";opf -f /path/to/document.txt;也支持管道与交互模式。评估用 opf eval examples/data/sample_eval_five_examples.jsonl,微调用 opf train /path/to/train.jsonl --output-dir /path/to/finetuned_checkpoint。Python API:from opf import PrivacyFilter,pf.redact(...) 返回 redacted_text 与 spans,pf.redact_batch(texts) 批量处理。

限制:模型以英文为主,多语言性能未保证;重标点或混合格式文本可能出现 span 边界碎片;领域特定标识召回低时可微调或选 high_recall;CUDA 显存不足可改用 CPU 或减小 batch;自动下载失败需设置 OPF_CHECKPOINT。数据格式、输出 schema 与微调细节见仓库文档。