用途:在单文档抽取之后做多阶段后处理,把文档内容转成可用的数据、测试与元数据产物,主要面向工程标准与教材类文档。
主要能力:deep_extract.py 作为后处理编排器;table_exporter.py 将 manifest 中的表格写为带表头和行的 CSV,按内容哈希做幂等;worked_example_parser.py 解析“Example N.N: / Given: / Solution:”结构,提取符号、数值、单位并生成用 pytest.approx(expected, rel=1e-3) 的 pytest 文件;chart_extractor.py 用 PyMuPDF 提取内嵌图片,过滤图标并生成供人工数字化的校准元数据 YAML。
使用方式:单文档可用 uv run --no-project python scripts/data/doc-intelligence/deep-extract.py --input <file.pdf> --domain naval-architecture --report --verbose;也可基于已有 manifest 运行(--manifest <manifest.yaml> --report);批量走 batch-extract.py --queue <queue.yaml> --deep --verbose;再用 promote-to-code.py --types tables worked_examples curves 提升产物。
限制与事实:420K+ 语料评估显示表格抽取产出率 69-93%,figure_refs 为 1-52%(仅元数据),equations、constants、procedures、worked_examples 均为 0%,当前不可靠检测,建议把抽取重心放在表格。表格提升前需做内容哈希去重、最小内容阈值(少于 3 数据行或 2 数值列跳过)以及 Haiku 质量评级。图表抽取为元数据级,不提取图像内容本身。标准文档无教材式例题,9 部主要工程标准中未发现可用例题。其余收费、许可等信息暂未提供。