用途:将书籍原文转化为 SFT 数据集,并训练能以特定作者文风写作的风格迁移模型。适用于从文学作品构建微调数据、制作作者文风或风格迁移模型、为 Tinker 等 SFT 平台准备训练数据、为长文本设计分段流程,以及在有限数据上训练 8B 及以下的小模型。
主要能力与流程: 一、文本抽取。优先使用 ePub 而非 PDF,按段落级从 <p> 标签提取以保留换行,并移除版权页、目录等前后附加内容。 二、智能分段。目标每段 150-400 词,始终在自然边界切分,避免断句导致碎片化输出;采用小块加重叠可产生更多训练样本。 三、多样化指令生成。用多个提示模板与系统提示防止过拟合,资料建议 15+ 模板、5+ 系统提示;合成指令描述发生了什么而不直接引用原文,聚焦角色、动作、情感与场景。 四、数据集构建。输出 messages 格式(system、user、assistant 三段),每个文本块可生成多个变体。 五、LoRA 训练。使用基座模型而非指令微调版,资料给出配置示例:模型 Qwen/Qwen3-8B-Base、LoRA rank 32、学习率 5e-4、batch size 4、3 个 epoch;用 Tinker 的 forward_backward_async 与 optim_step_async 进行训练。 六、验证。用原著不可能出现的现代场景(如咖啡师、短信、气候焦虑)测试是否学到风格而非内容;用 grep 在训练数据中检索输出短语验证原创性,并用 AI 检测器测试。
已知问题:角色名泄漏(可多书训练或加合成样本)、逐字复述(增加模板、限制 3 个 epoch)、输出碎片化(始终按段落边界切分)。
预期结果(资料所述):每本书 500-1000 条训练样本、适配器约 350MB、训练约 15 分钟、损失下降 90%+、风格迁移约 50% 达到理想;成本约 LLM 0.5 美元加训练 1.5 美元共约 2 美元。
限制:上述模型、参数、时间、成功率与成本均为资料给出的参考值,非通用保证;未提供具体安装命令。