用途:面向 NLP 研究,提供一套实用的文本分析指标实现,聚焦活跃研究领域,包括 AI 生成文本检测(困惑度加突发性分类器)、语料的 information-theoretic 分析和语言多样性度量,同时给出分词、embedding 分析与文本特征工程的模式。
主要能力:困惑度评分使用因果语言模型计算 token 级与文本级困惑度,返回 perplexity、log_likelihood、token_perplexities 与 num_tokens;突发性分析用词在文本中的到达间隔计算 B=(sigma-mu)/(sigma+mu),得到词级与平均突发性;熵与信息论指标支持词或字符级香农熵、归一化熵、词表大小、type-token ratio,以及 n-gram 条件熵 H(X_n|X_{n-1});检测管线把多个信号组合成启发式 AI 可能性分数,信号含低困惑度、低突发性、低熵、token 困惑度均匀;分词比较可在多个模型间对比 token 数、词表大小与压缩比。
使用方式:示例依赖 Hugging Face Transformers 做语言模型操作,依赖标准 Python 科学计算库做统计分析,框架尽量中立;函数入口包括 compute_perplexity、compute_burstiness、compute_entropy、compute_conditional_entropy、analyze_text_authenticity、compare_tokenizers,代码保持原样。
适用场景:文本质量评估、AI 生成文本检测、模型评估与领域适应、信息论语料分析、语言多样性测量、分词与特征工程研究。
限制:资料给出的阈值属于文献启发式,混淆度随模型而变、不是绝对值;跨文本比较需做长度归一化;长文档宜用滑动窗口;单一指标不可靠,应组合多信号;存在领域偏移,新闻文本训练的阈值不能直接迁移到科学论文;资料未提供安装命令、具体依赖版本与收费信息。