SuperAPI AI 工具集

supplementary-engagement

数据与分析

查看项目

更新于 10-15 09:46

技能介绍

用途

Supplementary Engagement Analyses 提供三项互补分析,回答单靠互动指标无法回答的问题:(1) 情绪化内容是否真的与高互动相关;(2) 哪些讨论串在原始发帖人离开后仍持续发挥影响力;(3) 语料库中暴露了哪些非公开数据。核心原则:互动是多维度的——分数计数衡量关注度,情感-互动相关性衡量共鸣,讨论串深度衡量影响力持续性,隐私审计衡量风险。

何时使用

  • 语料库同时具备互动指标(分数、投票、点赞、反应)和可测量情感文本
  • 带有回复链的讨论串(评论引用父级)
  • 可能包含非公开数据(IP、邮箱、关联身份)的内容导出
  • 需要区分真实声音与迎合大众的内容
  • 调查高分内容是否也是最情绪化的
  • 识别“话语催化剂”——引发深层讨论串的帖子/评论

何时不使用

  • 语料库完全没有互动指标(跳过分析 1;分析 2-3 可能仍适用)
  • 内容是扁平的(无回复结构)——跳过分析 2
  • 语料库已完全公开且无 PII 风险——跳过分析 3
  • 需要对互动驱动因素做因果论断(本技能测量相关性,而非因果性)

工作流

检查清单:

  • Step 1: 验证每项分析的数据前提
  • Step 2: 情感-互动相关性(分析 1)
  • Step 3: 讨论串深度与影响力映射(分析 2)
  • Step 4: 隐私审计(分析 3)
  • Step 5: 跨分析综合
  • Step 6: 将发现写入 docs/analysis/09-supplementary-engagement.md

快速参考

分析 所需输入 关键输出 最少数据
情感-互动相关性 文本 + 数值互动指标 散点图、Pearson/Spearman r、p 值 30+ 条同时具备两个字段的项目
讨论串深度与影响力映射 带父级引用的回复链 深度分布、催化剂识别 20+ 个至少 3 层的讨论串
隐私审计 任意非公开字段 PII 清单、风险分类 任意语料库(有数据就应运行)

Step 1:验证数据前提

在运行任何分析前,先核验可用数据。通过 validate_prerequisites 函数检查各项分析可行性:分析 1 需同时具备文本列和互动列且有效样本不少于 30;分析 2 需存在父级引用列;分析 3 只要有数据即可运行。若某项分析无法运行,需在输出报告中记录原因,不要静默跳过,也不要为缺失数据编造结果。

Step 2:分析 1 — 情感-互动相关性

问题:高分内容是否也是最情绪化的?还是克制、有分寸的内容表现同样好?

2a. 情感打分:使用适合语料领域的分析器。通用文本可使用 TextBlob,返回极性(-1 到 +1)和主观性(0 到 1)。同时计算绝对极性(abs_polarity),因为强烈正面和强烈负面内容都可能与互动相关,仅测试原始极性会遗漏“争议驱动互动”的模式。

2b. 相关性分析:对原始极性、绝对极性和主观性分别计算 Pearson 和 Spearman 相关系数及显著性。样本少于 30 条时返回数据不足错误。Spearman 为基于秩的方法,不假设分布,优先采用。

2c. 解释框架:

Spearman r 强度 解释
0.00 - 0.10 可忽略 情感不能预测互动
0.10 - 0.30 弱 轻微倾向;其他因素主导
0.30 - 0.50 中等 值得调查的有意义关系
0.50 - 0.70 强 情感是重要的互动预测因素
0.70 - 1.00 极强 真实内容数据中罕见;需验证是否为伪影

始终报告:相关系数、p 值和样本量。n=30 的“显著”相关与 n=3000 的含义不同。

关键区分——真实声音与迎合大众:若绝对极性与互动强相关而原始极性不相关,模式为“情绪强度驱动互动,与方向无关”;若只有正面极性相关,模式为“迎合大众的正面情绪”。需报告数据呈现的是哪种模式。

Step 3:分析 2 — 讨论串深度与影响力映射

问题:哪些讨论串在原始发帖人离开后仍持续对话?这些是“话语催化剂”——触发自维持讨论的内容。

3a. 计算讨论串深度:深度 0 = 顶层帖子/评论(无父级);深度 N = N 层回复深。通过 compute_thread_depths 构建父级查找递归计算,再通过 build_thread_stats 生成每个讨论串的统计(最大深度、回复数、独立作者数)。

3b. 识别话语催化剂:满足以下条件的讨论串——最大深度 ≥ 4、独立参与者 ≥ 3、原发帖人的最后回复深度 < 最大深度 / 2(讨论串在原发帖参与之外持续很久)。find_catalysts 函数输出 thread_root、max_depth、reply_count、unique_authors、op_max_depth 及 continuation_ratio。

3c. 讨论串深度分布:报告分布形状,而不仅是均值。

指标 揭示内容
中位深度 典型对话长度
第 90 百分位深度 深层讨论所在位置
仅深度 1 的讨论串占比 零后续内容的比例
深度 5+ 的讨论串占比 持续对话的比例
催化剂数 / 总讨论串数 自维持讨论的比率

Step 4:分析 3 — 隐私审计

问题:此语料库中暴露了哪些非公开数据,风险等级如何?

此分析不是可选项。若语料库包含任何数据,就运行隐私审计。不要假设所有数据都安全。

4a. 系统性 PII 识别:PII_PATTERNS 包含 email、ip_address、phone_number(均为 HIGH 风险)、url_with_username、date_of_birth(均为 MEDIUM 风险)。audit_pii 函数扫描所有字符串列,返回发现清单,含列名、PII 类型、匹配数、风险等级、建议操作和样本行号。高风险项建议在任何再分发前进行脱敏。

4b. 列级风险分类:

列类型 风险等级 理由
IP 地址 HIGH 可地理定位,可关联至 ISP 记录
邮箱地址 HIGH 直接识别个人
电话号码 HIGH 直接识别个人
关联账户标识符 HIGH 跨平台身份关联
位置字段(城市、邮编) MEDIUM 组合时为准标识符
亚分钟精度时间戳 MEDIUM 行为指纹潜力
User-agent 字符串 MEDIUM 设备指纹潜力
用户名(公开平台) LOW 已公开,但聚合增加暴露
内容正文 LOW* 可能含自披露 PII

*内容正文结构上为 LOW,但仍须扫描嵌入的 PII(见 Step 4a)。

4c. 风险分级:CRITICAL 表示 3+ 列含 HIGH 风险 PII 或内容正文含 HIGH 风险 PII,在脱敏前不得进行任何可能再分发此数据的分析;ELEVATED 表示仅在 1-2 个结构列中含 HIGH 风险 PII,需脱敏 HIGH 风险列并谨慎继续;MODERATE 表示……(原文此处内容截断,未提供完整分级标准)。

使用方式

按上述工作流逐步执行,复制检查清单跟踪进度,最终将发现写入 docs/analysis/09-supplementary-engagement.md。代码示例保留原文。

限制

本技能测量相关性,不做因果论断。每项分析均有最少数据要求,不足时需在报告中说明而非编造。内容为扁平时无法运行讨论串分析,无 PII 风险时无需隐私审计。原文中 MODERATE 风险分级的具体标准未提供完整内容。除资料明确说明外,暂未提供其他功能、收费、价格、平台或效果信息。