ChatSensitiveWords 是一个利用 LLM 与敏感词库自动判别敏感词的开源项目。
用途 项目面向需要对文本内容进行敏感词检测的场景。根据资料,它针对的主要是政治敏感词和色情敏感词。项目方表示,该项目已在 chatpaper 上线,原因是 chatpaper 免费提供学术版 GPT 完整功能,其中包含隐藏的对话功能,原本希望提供学术对话接口,但为应对用户好奇或极少数人对输出的故意攻击,需要紧急上线敏感词检测。
主要能力 项目采用 LLM 与敏感词库结合的方式来自动判别文本是否涉及敏感词。资料提到,如果有敏感词,会让 Chat 来判断语义,以确认是否存在误杀。也就是说,它不是仅依赖词库直接拦截,而是加入模型语义判断环节。项目也公开了性能表现:无敏感词的情况下,检测消耗约 0.2 秒;有敏感词的情况下,消耗约 0.2+0.8 秒。
使用方式 项目在 GitHub 上以代码仓库形式提供,仓库地址为 https://github.com/kaixindelele/ChatSensitiveWords/。资料给出的安装命令为:pip install -r requirements.txt。项目方欢迎大家在本地测试和评估,并特别提醒“千万别在我们的学术版上测试”。除此之外,资料没有提供更详细的调用示例、接口说明或配置步骤。
适用场景 从项目说明看,它适用于需要给对话或输出内容增加敏感词检测能力的场景,尤其是类似学术对话接口这样希望在开放对话的同时防止敏感输出的产品。项目方也提到,如果对搭网站的朋友有帮助,欢迎打赏,并请求不要打包卖钱。
限制与当前状态 项目方明确说明,目前传统敏感词库的检测还没有做好,然后 Chat 的 prompt 也没有调到最优。这意味着其检测效果和稳定性可能仍有改进空间。资料未提供准确率、误报率、支持语言、部署环境要求、许可证信息等更多细节。项目欢迎用户 star 和 pull 新功能,并请使用仓库中数据或代码时引用该仓库。
其他说明 资料未提供该项目的价格、收费模式或商业版本信息;也未提供除 pip 安装外的具体使用方法、API 文档或界面说明。