用途
该技能面向历史报纸、期刊或书籍的 OCR 文本后校正任务。输入包括:文本单元(原始 OCR 文本,外加语言、测试集/语料、文档类型、日期等元数据),以及来自同一批馆藏的已标注配对 (ocr_text, gt_text)。交付物为字符串列表,每个单元对应一条校正后的转写,顺序与输入一致,不得截断或出现失控生成。
质量指标
质量以加权 cMER-micro 衡量,数值越低越好。归一化步骤包括:小写化、ß→ss、连字映射、移除软连字符与换行、非词字符转空格、空白折叠。随后按测试集计算字符对齐的 (S+D+I)/(H+S+D+I),对单元求和;测试集之间取平均,其中 dta19-l0/l1/l2 权重为 1/3,其余为 1。基线为原样保留 OCR 文本不变。
主要能力与工具
工具来自 from scilib import ocrfix,不使用预训练权重。
- 指标:
norm、char_counts、cmer、edit_rate、score(test_sets, golds, hypotheses)(算子ocr_character_error_rate)。 - 噪声画像:
noise_profile(train),按测试集计算(算子ocr_noise_profile);join_line_hyphens。 - 规划与合并:
plan(units, train, max_chars, skip_below, n_examples)对单元分块,并为每块构建一个提示,内含同一测试集对齐的 OCR/金标摘录(算子ocr_correction_plan);merge(plan, outputs)依据长度区间、编辑率上限和词级片段过滤重新组装(算子ocr_guarded_merge)。
使用方式
工作流为:代码节点(plan)→ LLM 节点(items 为 plan 的 prompts,模板 {prompt},config.parse = "text")→ 代码节点(merge)。
路线方面:基线为直接复制 OCR 文本;主路线为分块 LLM 校正配合受保护的合并;可在未出现在提示中的已标注配对上用 ocrfix.score 比较块大小、示例数量和合并上限。
适用场景
适用于多语言、带元数据的历史文本 OCR 后校正,尤其是存在已标注 OCR/金标配对、需要按测试集分别评估的场景。
限制与规则
- 不加约束的“改进文本”提示会改写正确段落并可能提高错误率:需保留名称、数字、标点、换行和历史拼写;仅回复文本本身。
- 当回复长度或编辑率发生漂移时,保留 OCR 文本;跳过已接近无错误的测试集。
- 仅在训练配对显示有增益处应用行尾连字符约定。
- 仅在已标注配对上调参;不要跨测试集合并统计(语言、年代和噪声各不相同)。
- 回复受 token 限制,且 LLM 节点接收的 items 数量有限,因此需对长单元分块。
暂未提供
官方文本、收费与价格、平台支持、具体效果数据等未在资料中提供。