SuperAPI AI 工具集

cometchat-moderation

安全与审计

查看项目

更新于 10-21 20:28

技能介绍

CometChat Moderation 是 CometChat 平台提供的信任与安全(Trust & Safety)能力,用于让聊天内容保持安全与合规。其能力与规则名称以官方实时文档为准,主要涉及仪表盘配置,具体规则与列表选项、REST 接口结构需以文档核实。

用途

适用于需要对聊天进行内容治理的场景:脏话/毒性内容过滤、图片与视频安全、垃圾与诈骗检测、附件恶意软件扫描、允许用户举报内容、提供审核员复核队列,以及为信任与安全保留审计轨迹。信任与安全常是社交、游戏、市场、约会、教育、医疗类应用的采购门槛。

主要能力

每条消息在发送时都会经过规则引擎,规则结果有三种:放行、拦截(立即隐藏)、标记待审。用户也可以手动举报消息,举报同样会将其标记。被拦截或标记的内容进入仪表盘队列,审核员的决定(批准/拦截/标记已审)会进入审计轨迹。

流程示意:

send → rules → pass → delivered → block → Blocked Messages → flag → Flagged Messages → moderator → Reviewed Messages (audit)

  1. 配置规则与列表(仪表盘 / REST)

规则管理(/moderation/rules-management):开启所需的内置规则,并将每条规则设为拦截或标记。可用类别(以当前文档列表为准,会持续增加):

文本:词模式匹配(脏话)、联系方式/邮箱移除、垃圾与诈骗、平台规避、毒性、仇恨与骚扰、自残、露骨内容、隐私/敏感信息、冒充、暴力/恐怖主义、非自愿性内容。

图片:不安全/违禁、未成年人安全/CSAM、血腥暴力、露骨/性内容、仇恨符号、欺诈(假证件)、恶意软件扫描。

视频 / 音频 / 文件:附件的恶意软件与病毒扫描。

列表管理(/moderation/lists-management):自定义关键词、正则或句子列表,并与规则关联,即“禁用词”配置面。列表可在多条规则间复用。

程序化配置:Moderation REST API(/rest-api/moderation-apis/overview)可从服务器管理规则与关键词列表(例如按租户配置、CI 预置规则)。编写调用前需先获取其接口结构。

  1. 接入客户端(按 UI Kit 家族,已内置)

举报消息:UI Kit 在消息上内置了 Report Message 操作,可通过对应家族的审核功能开启({DOCS_BASE}/ui-kit/<family>/core-features#moderation;通过 cometchat-<family>-features 接入)。无需自行实现举报界面。

被拦截内容:被规则拦截的消息不会向接收方渲染,无需额外开发。

SDK 路径(自定义 UI / 无头):可直接用 Chat SDK 标记消息({DOCS_BASE}/sdk/<platform>/ai-moderation),这是某家族没有开箱即用组件时的按功能回退方案。

  1. 审核员复核与审计

Flagged Messages / Blocked Messages 仪表盘:审核员可复核、批准误报或确认拦截,并据此优化规则。

Reviewed Messages 是每次审核决定的审计轨迹(谁在何时做了什么),用于合规记录,可与 cometchat-compliance 配合实现这些记录的保留与电子取证。

旧版扩展:迁移而非并行运行

如果应用仍在使用旧版扩展(Profanity Filter、Data Masking、Image Moderation),在启用新的审核规则前应先禁用它们。两者并行会对每条消息处理两次,导致性能问题与消息延迟。这是必需的迁移步骤,而非可选项。

启用说明

审核属于仪表盘/套餐能力,需在应用上启用(且应在生产应用上启用,而不仅是开发环境)。npx @cometchat/skills-cli@3 features 可在认证登录后切换应用扩展/AI;规则与列表配置本身在仪表盘或通过 Moderation REST API 完成。

常见陷阱

旧版扩展与新规则同时开启,导致重复处理与延迟,应先禁用旧扩展。

规则只在开发环境配置,导致生产内容未受审核,应在生产应用上启用。

自行实现举报按钮,而 UI Kit 已内置 Report Message,应接入内置能力。

混淆拦截与标记:拦截会立即隐藏(适合明确违规),标记会转交人工(适合边界情况),应逐条规则慎重设置。

无人查看队列:被标记内容需要审核工作流,应接入通知/责任人。

假设某规则存在:应获取当前规则目录,不要承诺文档未列出的类别。

验证方式

含禁用词/关键词的消息按规则被拦截或标记 · 不安全图片被捕获 · 附件经过恶意软件扫描 · 用户的举报操作将消息标记进队列 · 审核决定出现在 Reviewed Messages · 旧版扩展已关闭 · 规则已在生产应用上启用。