用途
文体计量指纹(Stylometric Fingerprinting)用于从文本语料中提取作者稳定的写作指纹。它测量功能词频率、句子结构分布和标点模式——这些特征因在无意识中产生,故能跨主题和时间保持一致性。核心原则是:功能词和句法模式比内容词更稳定,因为内容词随主题变化,而功能词反映根深蒂固的语法习惯(Mosteller & Wallace, 1963; Kestemont, 2014)。指纹是一个分布轮廓,而非一组点估计——每个特征由均值、标准差和跨语境稳定性系数来刻画。
研究基础:自《联邦党人文集》归属研究(Mosteller & Wallace, 1963)以来,功能词一直是计算文体计量的支柱。Argamon & Levitan(2005)证明仅功能词频率在跨体裁作者归属中即可达到80%以上准确率。Eder(2011)确立使用100个最高频词进行可靠频率估计需要2500词以上,Stamatatos(2009)表明字符n-gram和功能词分布是跨领域作者识别最稳健的特征之一。
主要能力
- 从作者文本语料中提取稳定的写作签名
- 构建能跨越主题变化的写作声音复刻风格画像
- 定义刻画作者习惯模式的句法约束
- 比较跨语境、时间段或平台的写作风格一致性
- 为作者验证或归属任务创建特征集
- 向人格或原型系统输入稳定的文体计量特征
使用方式
工作流程分为八步:
- 验证语料适用性并切分为样本
- 提取功能词频率轮廓
- 测量句子结构分布
- 计算标点模式轮廓
- 计算补充特征(词长、TTR、可读性)
- 测试所有特征的跨语境稳定性
- 定义稳定指纹和句法约束
- 将发现写入 docs/analysis/18-stylometric-fingerprinting.md
语料适用性检查
- 词数:总计2500词以上;低于2500词应停止并报告数据不足,不计算指纹
- 词数置信度:5000词以上为稳定画像;2500-5000词可继续但所有特征标记为“初步”
- 语言:以单一语言为主;混合语言文本会使功能词频率比较失效,需先按语言切分
- 作者:单一作者;多作者语料产生混合指纹,必须按作者切分
- 样本多样性:来自2个以上语境、主题或时间段;单语境文本可能反映体裁约束而非个人风格,需显著标记
- 编辑程度:自然写作、最少编辑;大量编辑的文本反映编辑过程而非作者习惯,需记录局限
- 文本类型:散文(非诗歌、代码或结构化数据);非散文文本的功能词分布根本不同
稳定性测试切分
将语料切分为3个以上大致相等的样本,最好沿自然边界(不同线程、时间段、主题)。每段至少800词。若语料太小无法切分,跳过稳定性测试并在报告中标记。
功能词频率轮廓
测量每个功能词占总词数的比例。这是最稳定、最重要的特征类别。核心功能词列表(英语)共50个,源自 Mosteller & Wallace(1963)、Burrows(2002)和 Kestemont(2014):
- 冠词:a, an, the
- 介词:at, by, for, from, in, of, on, to, with, about, after, between, through, into, over, upon
- 连词:and, but, or, nor, so, yet, although, because, if, than, that, while
- 代词:i, me, my, we, us, our, you, your, he, him, his, she, her, it, its, they, them, their
- 助动词:be, is, am, are, was, were, been, have, has, had, do, does, did, will, would, shall, should, can, could, may, might, must
- 限定词:this, that, these, those, each, every, some, any, no, all, both
- 副词:not, very, also, then, there, here, now, just, only, still, even, already, always, never
解读:功能词密度(功能词总数/总词数)在英语散文中通常为40-60%。密度越高,句法越复杂、连接性越强;密度越低,名词性越强、内容越重。代词比例(第一人称单数 vs. 第一人称复数 vs. 第三人称)分别反映自我聚焦、群体导向和叙事视角。冠词率越高,与名词性、描述性写作及开放性相关(Pennebaker & King, 1999)。连词模式:大量使用“but/although/while”反映对比性思维;大量使用“and/or”反映加合性思维。
句子结构分布
不仅捕捉平均句长,还捕捉完整分布——分布形状比均值更能揭示风格。特征包括:句子数、均值、中位数、标准差、最小值、最大值、偏度、峰度、四分位距、短句比例(≤10词)、中句比例(11-25词)、长句比例(>25词)、疑问句率、感叹句率、陈述句率、高频句首词、长度分布原始数据。
解读:正偏度表示多数句子短、偶有长句(非正式写作常见);负偏度表示多数句子长、偶有短促句(学术/正式写作常见)。高峰度表示句长紧密聚集于均值(节奏均匀);低峰度表示句长变化大(节奏多变)。高疑问句率表示疑问风格、寻求互动。高频句首词揭示深层句法习惯。
标点模式轮廓
标点习惯高度个性化且跨语境相对稳定。
关键指标阈值
- 最小语料(基础画像):2500词(Eder 2011 关于MFW可靠性)
- 最小语料(稳定画像):5000词以上(Stamatatos 2009、Eder 2011 共识)
- 最优语料:10000词以上、跨5个以上语境(多项研究;超过20000词收益递减)
- 稳定性测试最小样本数:3篇以上独立文本
- 稳定性系数阈值:CV < 0.30 为“稳定”特征
- 功能词数量:50-150个最高频词(Burrows 2002:150 MFW;最低可行:50)
- 句长分布所需句子数:50句以上
- 字符n-gram阶数:2-3个字符
特征类别与稳定性排序
- 功能词(冠词、介词、连词、代词、助动词):跨语境稳定性最高,无意识、主题无关,可靠估计需2500词以上
- 标点模式:稳定性高,习惯性、体裁敏感,需1500词以上
- 句长分布:稳定性高,反映规划复杂度,需2000词以上(50句以上)
- 词长分布:稳定性中高,需2000词以上
- 类型-标记比(TTR):稳定性中等,受主题和文本长度影响,需2500词以上(超过5000词用MATTR)
- 词性标注比例:稳定性中等,部分主题敏感,需3000词以上
- 字符n-gram:稳定性高,捕捉形态习惯,需3000词以上
- 可读性指标:稳定性中高,反映复杂度习惯,需2000词以上
适用场景
- 从作者文本语料中提取稳定写作签名
- 构建能跨越主题变化的写作声音复刻风格画像
- 定义刻画作者习惯模式的句法约束
- 比较跨语境、时间段或平台的写作风格一致性
- 为作者验证或归属任务创建特征集
- 向人格或原型系统输入稳定文体计量特征
限制
以下情况不应使用:
- 语料少于2500词(参见数据不足处理)
- 文本被他人大量编辑、机器翻译或代笔(作者信号被稀释)
- 目标是内容分析或主题建模(应改用NMF或LDA)
- 未经个人知情同意对其进行去匿名化或监控
- 在法律或取证语境中未经验证工具就声称确定性作者证明(应使用JGAAP或stylo并进行适当验证)
- 仅用单篇极短文本(少于500词)作为唯一样本
决策流程:文本是否足够(2500词以上)?否→报告数据不足。是→是否有多个样本或语境?否(单语境)→带稳定性警告继续。是→是否涉及监控或去匿名化?是→停止:伦理边界。否→进行完整分析。