用途:从文档、文本语料、EPUB 和结构化内容中自动生成高质量 AI 训练数据集,重点面向低资源语言、词典内容与领域知识抽取。主要数据来源包括词典数据库、圣经 EPUB(NWT)、JW 小册子与平行文本语料。
主要能力:多策略生成(词典词对、上下文定义、补全任务、分类示例);质量过滤(置信度评分、去重、内容校验);格式灵活(JSONL、HuggingFace、Ollama、OpenAI);多语言支持并处理重音字符;可扩展处理,从大文档生成数千条示例;平衡管理,保证数据集多样性与类别均衡;EPUB 处理,从圣经 EPUB 抽取平行经文用于翻译训练;句子对齐,对齐双语文档中的平行句。
核心策略:1)词典词对抽取,通过分隔符(word – definition、term: meaning)、语言指示词(means、is defined as、refers to)、结构线索(缩进、格式、列表)与上下文分析识别词-定义对。2)圣经 EPUB 平行语料抽取,使用 NWTEpubParser 对齐 Chuukese 与英文 NWT 经文,按书卷、章节、节号匹配,按最小长度过滤,输出含 chuukese、english、reference、source、confidence 的字典列表,并可导出为 Helsinki-NLP 微调用的 TSV,按 80/10/10 划分 train/val/test。3)小册子句子抽取,从 JSON 中读取含 chuukese 与 english 的条目生成训练对。
使用方式:初始化 AITrainingDataGenerator(min_confidence=0.7),调用 generate_comprehensive_training_data(parsed_document, target_count=10000) 生成数据,再用 export_training_data(training_data, output_dir="training_output", format_type="ollama") 导出。输出格式示例包括 JSONL、Ollama、HuggingFace、OpenAI 微调格式。
质量保证:检查内容有效性、模式匹配、上下文适当性与唯一性。最佳实践包括多轮验证、按用例调整置信度阈值、人工抽样复核与平衡管理。依赖 re、json、hashlib、collections。
限制:资料未提供具体安装命令、收费与价格、平台支持范围及实际效果数据;部分能力依赖特定数据源(如 NWT EPUB、JW 小册子)与文件结构。