SuperAPI AI 工具集

stylometric-fingerprinting

写作与研究

查看项目

更新于 10-15 09:48

技能介绍

用途

文体计量指纹(Stylometric Fingerprinting)用于从文本语料中提取作者稳定的写作指纹。它测量功能词频率、句子结构分布和标点模式——这些特征因在无意识中产生,故能跨主题和时间保持一致性。核心原则是:功能词和句法模式比内容词更稳定,因为内容词随主题变化,而功能词反映根深蒂固的语法习惯(Mosteller & Wallace, 1963; Kestemont, 2014)。指纹是一个分布轮廓,而非一组点估计——每个特征由均值、标准差和跨语境稳定性系数来刻画。

研究基础:自《联邦党人文集》归属研究(Mosteller & Wallace, 1963)以来,功能词一直是计算文体计量的支柱。Argamon & Levitan(2005)证明仅功能词频率在跨体裁作者归属中即可达到80%以上准确率。Eder(2011)确立使用100个最高频词进行可靠频率估计需要2500词以上,Stamatatos(2009)表明字符n-gram和功能词分布是跨领域作者识别最稳健的特征之一。

主要能力

  • 从作者文本语料中提取稳定的写作签名
  • 构建能跨越主题变化的写作声音复刻风格画像
  • 定义刻画作者习惯模式的句法约束
  • 比较跨语境、时间段或平台的写作风格一致性
  • 为作者验证或归属任务创建特征集
  • 向人格或原型系统输入稳定的文体计量特征

使用方式

工作流程分为八步:

  1. 验证语料适用性并切分为样本
  2. 提取功能词频率轮廓
  3. 测量句子结构分布
  4. 计算标点模式轮廓
  5. 计算补充特征(词长、TTR、可读性)
  6. 测试所有特征的跨语境稳定性
  7. 定义稳定指纹和句法约束
  8. 将发现写入 docs/analysis/18-stylometric-fingerprinting.md

语料适用性检查

  • 词数:总计2500词以上;低于2500词应停止并报告数据不足,不计算指纹
  • 词数置信度:5000词以上为稳定画像;2500-5000词可继续但所有特征标记为“初步”
  • 语言:以单一语言为主;混合语言文本会使功能词频率比较失效,需先按语言切分
  • 作者:单一作者;多作者语料产生混合指纹,必须按作者切分
  • 样本多样性:来自2个以上语境、主题或时间段;单语境文本可能反映体裁约束而非个人风格,需显著标记
  • 编辑程度:自然写作、最少编辑;大量编辑的文本反映编辑过程而非作者习惯,需记录局限
  • 文本类型:散文(非诗歌、代码或结构化数据);非散文文本的功能词分布根本不同

稳定性测试切分

将语料切分为3个以上大致相等的样本,最好沿自然边界(不同线程、时间段、主题)。每段至少800词。若语料太小无法切分,跳过稳定性测试并在报告中标记。

功能词频率轮廓

测量每个功能词占总词数的比例。这是最稳定、最重要的特征类别。核心功能词列表(英语)共50个,源自 Mosteller & Wallace(1963)、Burrows(2002)和 Kestemont(2014):

  • 冠词:a, an, the
  • 介词:at, by, for, from, in, of, on, to, with, about, after, between, through, into, over, upon
  • 连词:and, but, or, nor, so, yet, although, because, if, than, that, while
  • 代词:i, me, my, we, us, our, you, your, he, him, his, she, her, it, its, they, them, their
  • 助动词:be, is, am, are, was, were, been, have, has, had, do, does, did, will, would, shall, should, can, could, may, might, must
  • 限定词:this, that, these, those, each, every, some, any, no, all, both
  • 副词:not, very, also, then, there, here, now, just, only, still, even, already, always, never

解读:功能词密度(功能词总数/总词数)在英语散文中通常为40-60%。密度越高,句法越复杂、连接性越强;密度越低,名词性越强、内容越重。代词比例(第一人称单数 vs. 第一人称复数 vs. 第三人称)分别反映自我聚焦、群体导向和叙事视角。冠词率越高,与名词性、描述性写作及开放性相关(Pennebaker & King, 1999)。连词模式:大量使用“but/although/while”反映对比性思维;大量使用“and/or”反映加合性思维。

句子结构分布

不仅捕捉平均句长,还捕捉完整分布——分布形状比均值更能揭示风格。特征包括:句子数、均值、中位数、标准差、最小值、最大值、偏度、峰度、四分位距、短句比例(≤10词)、中句比例(11-25词)、长句比例(>25词)、疑问句率、感叹句率、陈述句率、高频句首词、长度分布原始数据。

解读:正偏度表示多数句子短、偶有长句(非正式写作常见);负偏度表示多数句子长、偶有短促句(学术/正式写作常见)。高峰度表示句长紧密聚集于均值(节奏均匀);低峰度表示句长变化大(节奏多变)。高疑问句率表示疑问风格、寻求互动。高频句首词揭示深层句法习惯。

标点模式轮廓

标点习惯高度个性化且跨语境相对稳定。

关键指标阈值

  • 最小语料(基础画像):2500词(Eder 2011 关于MFW可靠性)
  • 最小语料(稳定画像):5000词以上(Stamatatos 2009、Eder 2011 共识)
  • 最优语料:10000词以上、跨5个以上语境(多项研究;超过20000词收益递减)
  • 稳定性测试最小样本数:3篇以上独立文本
  • 稳定性系数阈值:CV < 0.30 为“稳定”特征
  • 功能词数量:50-150个最高频词(Burrows 2002:150 MFW;最低可行:50)
  • 句长分布所需句子数:50句以上
  • 字符n-gram阶数:2-3个字符

特征类别与稳定性排序

  • 功能词(冠词、介词、连词、代词、助动词):跨语境稳定性最高,无意识、主题无关,可靠估计需2500词以上
  • 标点模式:稳定性高,习惯性、体裁敏感,需1500词以上
  • 句长分布:稳定性高,反映规划复杂度,需2000词以上(50句以上)
  • 词长分布:稳定性中高,需2000词以上
  • 类型-标记比(TTR):稳定性中等,受主题和文本长度影响,需2500词以上(超过5000词用MATTR)
  • 词性标注比例:稳定性中等,部分主题敏感,需3000词以上
  • 字符n-gram:稳定性高,捕捉形态习惯,需3000词以上
  • 可读性指标:稳定性中高,反映复杂度习惯,需2000词以上

适用场景

  • 从作者文本语料中提取稳定写作签名
  • 构建能跨越主题变化的写作声音复刻风格画像
  • 定义刻画作者习惯模式的句法约束
  • 比较跨语境、时间段或平台的写作风格一致性
  • 为作者验证或归属任务创建特征集
  • 向人格或原型系统输入稳定文体计量特征

限制

以下情况不应使用:

  • 语料少于2500词(参见数据不足处理)
  • 文本被他人大量编辑、机器翻译或代笔(作者信号被稀释)
  • 目标是内容分析或主题建模(应改用NMF或LDA)
  • 未经个人知情同意对其进行去匿名化或监控
  • 在法律或取证语境中未经验证工具就声称确定性作者证明(应使用JGAAP或stylo并进行适当验证)
  • 仅用单篇极短文本(少于500词)作为唯一样本

决策流程:文本是否足够(2500词以上)?否→报告数据不足。是→是否有多个样本或语境?否(单语境)→带稳定性警告继续。是→是否涉及监控或去匿名化?是→停止:伦理边界。否→进行完整分析。