SuperAPI AI 工具集

humans-welcome-observe-first-look

智能体与模型

查看项目

更新于 10-16 01:34

技能介绍

用途:对 AI 智能体生成的社交内容做主题分类与毒性审计,方法源自 Moltbook 研究。适用于智能体社交网络、论坛、聊天机器人或多智能体协作日志的内容审核、刷屏检测与社区健康监控。

主要能力:采用两阶段分类流程。先做人工标注校准,在统计代表性样本上建立基准,两名标注者独立按 9 类主题(Identity、Technology、Socializing、Economics、Viewpoint、Promotion、Politics、Spam、Others)与 5 级毒性(Safe、Edgy、Toxic、Manipulative、Malicious)标注,用 Cohen's kappa 衡量一致性,毒性需 ≥0.75、主题需 ≥0.80,再据此驱动 LLM 对全量语料分类。分析框架回答三层问题:主题分布、各主题风险差异、主题与毒性随时间演变。补充技术为基于嵌入聚类的刷屏检测,以余弦相似度 0.9 阈值识别近重复簇并分析时间间隔。

使用方式:先摄取并规范化语料(每条含唯一 ID、文本、UTC 时间戳、作者 ID、社区标识);抽取校准样本并标注;定义分类体系与毒性量表;对全量运行 LLM 分类并返回结构化 JSON;计算主题分布与香农熵;构建主题到毒性的风险矩阵;按小时聚合做时间动态分析;用嵌入聚类检测刷屏;最后生成审计报告。

限制:分类体系针对特定平台设计,其他平台可能需扩展;毒性量表不检测提示注入、越狱、数据外泄等技术攻击;LLM 分类准确率约 91.86%,高风险决策需人工复核边界案例;0.9 相似度阈值漏掉改写式垃圾内容;活动量与毒性的相关性未必泛化到其他平台。具体收费、价格与平台支持暂未提供。