SuperAPI AI 工具集

taxonomic-interest-classification

数据与分析

查看项目

更新于 10-15 09:47

技能介绍

用途

本技能用于将文本语料映射到层级化的兴趣分类体系,测量兴趣多样性(正交性),并将画像分类为博学型或专精型。其核心观点是:兴趣多样性是内容分布的可测量属性,而非主观印象。

适用场景:

  • 需要对用户生成内容语料进行兴趣画像
  • 需要量化某人活动的多样或集中程度
  • 将帖子、评论、文章或其他文本映射到兴趣类别
  • 判定博学型与专精型画像分类
  • 将兴趣分布输入下游原型分配

不适用于:

  • 单文档主题提取(应使用 NMF 或 LDA)
  • 无分类框架的关键词频率分析
  • 内容推荐(本技能测量现状,而非应有状态)

主要能力

工作流包含七个步骤:

  1. 选择并记录参考分类体系。推荐使用 IAB 内容分类体系(v2.0+),提供两级层级,含 26 个一级组和 366+ 个二级子组。可根据语料领域调整或取子集。
  2. 将语料条目映射到类别。每个内容条目分配一个主要一级类别,可选一个二级子类别。映射方法包括基于元数据、LLM 辅助、关键词启发式或混合方式。
  3. 构建分布表。统计每个类别的条目数并计算比例。排除 0 条目的类别。
  4. 计算多样性指标。包括香农熵(H)、辛普森多样性指数(1 - D)和正交性分数。正交性 = H_norm × (1 - D) × (k_occupied / k_total)。
  5. 分类画像。以正交性分数为主要分类器,并识别兴趣形状(尖峰型、双峰型、平台型、平坦型)。
  6. 识别兴趣支柱并标记歧义。支柱阈值:类别包含 ≥5% 总条目且 ≥10 条目。
  7. 撰写报告到 docs/analysis/04-taxonomic-interest-classification.md。

正交性解释量表:

  • 0.00 - 0.10:深度专精型,活动集中在 1-2 个类别
  • 0.10 - 0.25:专精型,强聚焦并有次要兴趣
  • 0.25 - 0.45:中等型,有明确主领域和真实次要兴趣
  • 0.45 - 0.65:广泛型,多个重要兴趣领域
  • 0.65 - 1.00:博学型,广泛分布于多个类别

使用方式

按七步工作流执行,使用检查清单跟踪进度。映射方法根据语料选择:有原生类别时用元数据法;无元数据的自由文本用 LLM 辅助;大语料需速度时用关键词启发式;混合法精度最高但工作量最大。

数据不足处理:

  • 语料 < 30 条:不计算多样性指标,仅报告原始类别列表、条目计数和样本过小声明
  • 语料 30-100 条:计算指标但标记为低置信度,要求至少 3 个已占用一级类别
  • 语料 > 100 条:完整分析,若任一类别 < 5 条目则标记比例不稳定
  • 15% 条目未分类:分类体系可能不适用,报告不匹配

  • 所有条目在 1 个类别:正交性 = 0,报告为单领域画像

适用场景

适用于需要对文本语料进行兴趣画像、多样性量化、画像分类的场景,如用户画像分析、内容分布研究、下游原型分配等。

限制

不应从类别归属推断动机;不应假设兴趣是静态的(这是快照而非轨迹);不应对兴趣组合做价值判断(博学型并不优于专精型);不应声称超出数据支持的精度。

常见错误:在二级子类别上计算多样性(应使用一级);在香农计算中包含空类别(仅对 p_i > 0 求和);报告原始香农值而无上下文(始终包含 H_norm 和已占用类别数);跳过形状交叉检查;未审查就 1:1 映射源类别。

参考资源:IAB Tech Lab 内容分类体系、IAB Taxonomies GitHub、香农多样性指数、多样性指数(维基百科)、层级文本分类综述(MDPI Electronics)、测量多样性(PAIR)。