SuperAPI AI 工具集

ai-moderating-content

通用与其它

查看项目

更新于 10-15 23:58

技能介绍

用途:指导构建 AI 内容审核,对用户生成内容分类、评分严重程度并路由决策(自动通过、人工复核、自动拒绝),核心模式为分类、评分、路由。

主要能力:定义审核策略(违规类型、严重级别、误报容忍度、是否人工复核);选择方案(单标签 dspy.Predict、单标签 dspy.ChainOfThought、多标签、多标签加置信度路由、模式匹配加 LM 评估);用 dspy.Signature 与 dspy.Module 构建审核器;多标签审核并用 dspy.Refine 校验输出;用正则做零容忍硬拦截(SSN、邮箱、信用卡号);按置信度路由到人工;定义指标并用 dspy.MIPROv2 优化。

使用方式:安装命令为 npx skills add lebsral/DSPy-Programming-not-prompting-LMs-skills --skill <name>;示例用 dspy.LM("openai/gpt-4o-mini") 并 dspy.configure(lm=lm)。

适用场景:平台用户内容审核、垃圾信息与仇恨言论过滤、NSFW 检测等。

限制:低量内容、仅需精确匹配违规、法律级决策不宜用 AI 审核;AI 审核只是初筛,有法律后果时应转人工。LM 置信度非校准概率,阈值需在开发集上调;过度审核伤害大于审核不足,低严重度类别应偏向精确率。注意 ChainOfThought 会自动注入 reasoning 字段,勿重复添加;动态类别需用 Literal[tuple(categories)]。非英语内容、讽刺、引用批评、代码片段、对抗规避等需特别处理。