SuperAPI AI 工具集

scienceclaw-benchmark-for43

写作与研究

查看项目

更新于 11-02 04:42

技能介绍

用途

该技能面向历史报纸、期刊或书籍的 OCR 文本后校正任务。输入包括:文本单元(原始 OCR 文本,外加语言、测试集/语料、文档类型、日期等元数据),以及来自同一批馆藏的已标注配对 (ocr_text, gt_text)。交付物为字符串列表,每个单元对应一条校正后的转写,顺序与输入一致,不得截断或出现失控生成。

质量指标

质量以加权 cMER-micro 衡量,数值越低越好。归一化步骤包括:小写化、ß→ss、连字映射、移除软连字符与换行、非词字符转空格、空白折叠。随后按测试集计算字符对齐的 (S+D+I)/(H+S+D+I),对单元求和;测试集之间取平均,其中 dta19-l0/l1/l2 权重为 1/3,其余为 1。基线为原样保留 OCR 文本不变。

主要能力与工具

工具来自 from scilib import ocrfix,不使用预训练权重。

  • 指标:norm、char_counts、cmer、edit_rate、score(test_sets, golds, hypotheses)(算子 ocr_character_error_rate)。
  • 噪声画像:noise_profile(train),按测试集计算(算子 ocr_noise_profile);join_line_hyphens。
  • 规划与合并:plan(units, train, max_chars, skip_below, n_examples) 对单元分块,并为每块构建一个提示,内含同一测试集对齐的 OCR/金标摘录(算子 ocr_correction_plan);merge(plan, outputs) 依据长度区间、编辑率上限和词级片段过滤重新组装(算子 ocr_guarded_merge)。

使用方式

工作流为:代码节点(plan)→ LLM 节点(items 为 plan 的 prompts,模板 {prompt},config.parse = "text")→ 代码节点(merge)。

路线方面:基线为直接复制 OCR 文本;主路线为分块 LLM 校正配合受保护的合并;可在未出现在提示中的已标注配对上用 ocrfix.score 比较块大小、示例数量和合并上限。

适用场景

适用于多语言、带元数据的历史文本 OCR 后校正,尤其是存在已标注 OCR/金标配对、需要按测试集分别评估的场景。

限制与规则

  • 不加约束的“改进文本”提示会改写正确段落并可能提高错误率:需保留名称、数字、标点、换行和历史拼写;仅回复文本本身。
  • 当回复长度或编辑率发生漂移时,保留 OCR 文本;跳过已接近无错误的测试集。
  • 仅在训练配对显示有增益处应用行尾连字符约定。
  • 仅在已标注配对上调参;不要跨测试集合并统计(语言、年代和噪声各不相同)。
  • 回复受 token 限制,且 LLM 节点接收的 items 数量有限,因此需对长单元分块。

暂未提供

官方文本、收费与价格、平台支持、具体效果数据等未在资料中提供。