用途
本技能用于将文本语料映射到层级化的兴趣分类体系,测量兴趣多样性(正交性),并将画像分类为博学型或专精型。其核心观点是:兴趣多样性是内容分布的可测量属性,而非主观印象。
适用场景:
- 需要对用户生成内容语料进行兴趣画像
- 需要量化某人活动的多样或集中程度
- 将帖子、评论、文章或其他文本映射到兴趣类别
- 判定博学型与专精型画像分类
- 将兴趣分布输入下游原型分配
不适用于:
- 单文档主题提取(应使用 NMF 或 LDA)
- 无分类框架的关键词频率分析
- 内容推荐(本技能测量现状,而非应有状态)
主要能力
工作流包含七个步骤:
- 选择并记录参考分类体系。推荐使用 IAB 内容分类体系(v2.0+),提供两级层级,含 26 个一级组和 366+ 个二级子组。可根据语料领域调整或取子集。
- 将语料条目映射到类别。每个内容条目分配一个主要一级类别,可选一个二级子类别。映射方法包括基于元数据、LLM 辅助、关键词启发式或混合方式。
- 构建分布表。统计每个类别的条目数并计算比例。排除 0 条目的类别。
- 计算多样性指标。包括香农熵(H)、辛普森多样性指数(1 - D)和正交性分数。正交性 = H_norm × (1 - D) × (k_occupied / k_total)。
- 分类画像。以正交性分数为主要分类器,并识别兴趣形状(尖峰型、双峰型、平台型、平坦型)。
- 识别兴趣支柱并标记歧义。支柱阈值:类别包含 ≥5% 总条目且 ≥10 条目。
- 撰写报告到 docs/analysis/04-taxonomic-interest-classification.md。
正交性解释量表:
- 0.00 - 0.10:深度专精型,活动集中在 1-2 个类别
- 0.10 - 0.25:专精型,强聚焦并有次要兴趣
- 0.25 - 0.45:中等型,有明确主领域和真实次要兴趣
- 0.45 - 0.65:广泛型,多个重要兴趣领域
- 0.65 - 1.00:博学型,广泛分布于多个类别
使用方式
按七步工作流执行,使用检查清单跟踪进度。映射方法根据语料选择:有原生类别时用元数据法;无元数据的自由文本用 LLM 辅助;大语料需速度时用关键词启发式;混合法精度最高但工作量最大。
数据不足处理:
- 语料 < 30 条:不计算多样性指标,仅报告原始类别列表、条目计数和样本过小声明
- 语料 30-100 条:计算指标但标记为低置信度,要求至少 3 个已占用一级类别
- 语料 > 100 条:完整分析,若任一类别 < 5 条目则标记比例不稳定
-
15% 条目未分类:分类体系可能不适用,报告不匹配
- 所有条目在 1 个类别:正交性 = 0,报告为单领域画像
适用场景
适用于需要对文本语料进行兴趣画像、多样性量化、画像分类的场景,如用户画像分析、内容分布研究、下游原型分配等。
限制
不应从类别归属推断动机;不应假设兴趣是静态的(这是快照而非轨迹);不应对兴趣组合做价值判断(博学型并不优于专精型);不应声称超出数据支持的精度。
常见错误:在二级子类别上计算多样性(应使用一级);在香农计算中包含空类别(仅对 p_i > 0 求和);报告原始香农值而无上下文(始终包含 H_norm 和已占用类别数);跳过形状交叉检查;未审查就 1:1 映射源类别。
参考资源:IAB Tech Lab 内容分类体系、IAB Taxonomies GitHub、香农多样性指数、多样性指数(维基百科)、层级文本分类综述(MDPI Electronics)、测量多样性(PAIR)。