SuperAPI AI 工具集

bible-epub-processing

数据与分析

查看项目

更新于 10-16 05:46

技能介绍

用途:从《新世界译本》(NWT)圣经 EPUB 中解析并提取结构化内容,构建楚克语(Chuukese/Trukese)与英语的平行语料,用于翻译训练。资料给出楚克语文件 nwt_TE.epub 与英语文件 nwt_E.epub,位于 data/bible/ 目录。

主要能力:NWTEpubParser 类可读取 EPUB,获取书卷列表、某书卷的章节列表、某章的经文(返回经文号到文本的字典)、单节经文以及经文区间合并文本;内部按 NWT 的 66 卷顺序定义 BOOK_ORDER,并带书卷与章节缓存。ParallelCorpusBuilder 类按书卷、章、节号对齐两种语言的经文,支持按最小/最大字符长度过滤,输出带 reference、book、chapter、verse、source、confidence 等字段的平行对。

使用方式:安装依赖 ebooklib>=0.18、beautifulsoup4>=4.12.0、lxml>=4.9.0 等;用 NWTEpubParser('data/bible/nwt_E.epub') 加载后调用 get_book_list、get_chapters、get_verses、get_verse、get_verse_range。用 ParallelCorpusBuilder(chuukese_epub='data/bible/nwt_TE.epub', english_epub='data/bible/nwt_E.epub') 构建语料,再通过 export_for_training 导出 train/val/test 的 TSV(方向 chk_to_en 或 en_to_chk),或通过 export_jsonl 导出 ollama、openai、huggingface 格式的 JSONL。

适用场景:圣经文本的平行语料构建、楚克语-英语翻译模型训练数据准备。

限制:资料说明圣经翻译虽经专业审校、术语一致,但宗教词汇与正式语体可能不易泛化,部分经文结构复杂;可自行按长度、长度比、数字占比等策略过滤。资料未提供具体安装命令、运行命令、性能数据或收费信息。