SuperAPI AI 工具集

readability-lexical-diversity

通用与其它

查看项目

更新于 10-15 19:49

技能介绍

用途:从文本语料中计算量化复杂度目标,包括可读性(多种公式的年级估算)与词汇多样性(按文本长度校正的词汇丰富度)。核心原则是单一公式或指数不足,应使用多种度量、报告区间,并在比较前校正文本长度。可读性公式估算理解文本所需的美国年级水平;词汇多样性指数估算词汇变化程度。两者都可转化为可测量的 LLM 提示约束,例如“目标 FK 年级 12-14、MTLD 高于 80、平均句长 18-22 词”。

主要能力:可读性公式包括 Flesch-Kincaid 年级、Coleman-Liau 指数、Gunning Fog 指数、SMOG 指数、自动可读性指数(ARI),可用 Python textstat 计算。词汇多样性指标包括 TTR、MTLD、MATTR、HD-D、Hapax Legomena 比率。MTLD 与 MATTR 为长度校正主指标,TTR 仅作补充,不应跨不同长度文本比较。

使用方式:先验证语料适用性(语言、文档数、词数、句数、长度方差),再逐文档计算全部五个可读性公式,计算 MTLD、MATTR、hapax,汇总语料级统计,分析公式一致性与分歧,最后把指标转化为 LLM 提示约束。工作流步骤包括验证语料、逐文档可读性、逐文档词汇多样性、语料聚合、公式一致性分析、转化为提示约束、写入分析文档。

适用场景:在声音复刻前测量语料复杂度;为 LLM 提示建立量化可读性目标;比较文档、作者或时间段复杂度;用长度校正指标计算词汇多样性;设置生成文本的复杂度上下限;将指标输入原型或角色构建流程。

限制:少于 100 词的文本可读性公式不可靠;跨语言比较需重新校准,公式按英语校准;可读性不等于写作质量;可读性分数不衡量真实读者理解;原始 TTR 在变长文本上会机械下降,需用 MTLD 或 MATTR。SMOG 需约 30 句(约 600 词)样本。语料少于 30 篇时语料级聚合不可靠。具体安装命令与官方文档暂未提供。