用途
Chinese-Tiny-LLM 仓库包含 CT-LLM 项目的清洗中文网页语料和预训练代码，面向需要构建中文大语言模型的研究者和开发者。
主要能力
- CT-LLM：一个 2B 参数的语言模型，从零开始训练，主要使用中文数据。训练语料共 1.2 万亿 token，包括 8000 亿中文、3000 亿英文和 1000 亿代码 token，并配合对齐技术提升中文处理能力。在 CHC-Bench 上表现出良好的中文任务性能，并通过 SFT 在英文方面也具备能力。
- MAP-CC：开源中文预训练数据集，规模 8000 亿 token，附带一套清洗中文网页语料的详细流程，为 NLP 社区提供高质量中文预训练数据和数据准备方法。
- CHC-Bench：精心挑选的多学科中文困难案例指令理解与遵循基准。
使用方式
仓库提供数据清洗流程，包括：
- 下载 fasttext 模型至 filter 目录，使用命令过滤文本。参数包括 input_dir（含 jsonl 文件的目录）、output_dir（存放过滤后 jsonl 的目录）、success_dir（保存文件处理成功与否的目录）、log_dir（保存日志的目录）、num_worker（并行执行的进程总数）。
- 全文去重：提供运行全文去重的示例命令，input_dir 为存放 jsonl 文件的目录，output_dir 为保存去重后 jsonl 的目录，content_field_name 为 jsonl 中内容字段名。可分区并行处理以减少总处理时间。
- 生成 Minhash：input_dir 为保存 jsonl 文件的目录，output_dir 为保存 minhash 值的目录，num_worker 为进程总数，content_field_name 为内容字段名。
- 生成重复对：input_dir 为存放 minhash 值的目录（与生成 Minhash 的 output_dir 相同），output_dir 为保存重复对文件的目录。
- 生成连通分量：input_dir 为包含重复行文件的目录（与生成重复对的 output_dir 相同），output_file 为保存连通分量信息的文件路径，num_workers 为进程总数。
- 生成每个文件的重复行 ID：input_file 为包含连通分量信息的文件（与生成连通分量的 output_file 相同），output_dir 为保存每个文件重复行 ID 信息的目录。
- 去除重复：input_dir 为包含原始 jsonl 文件的目录（与生成 Minhash 的 input_dir 相同），output_dir 为保存去重后 jsonl 的目录，dup_line_id_dir 为包含所有 jsonl 文件重复行 ID 的目录（与生成每个文件重复行 ID 的 output_dir 相同）。
- 相似行去重：input_dir 为包含 jsonl 文件的目录，output_dir 为保存去重后 jsonl 的目录，num_worker 为进程总数，content_field_name 为内容字段名。 详细预训练代码和配置请参考 Neo 仓库。
适用场景
- 中文大语言模型的预训练研究
- 中文网页语料清洗与去重
- 中文指令理解与遵循能力评估
限制与声明
- 该模型为学术目的开发，使用经过严格合规检查的训练数据。但由于数据固有复杂性和模型应用的广泛性，无法保证所有场景下模型输出的绝对准确性或适当性。
- 模型及其相关训练数据仅用于学术研究。对于因不当使用、解释错误、非法活动、虚假信息传播或与使用模型或训练数据相关的任何数据安全问题，明确不承担任何责任。
- 鼓励用户直接报告与数据滥用、安全漏洞或潜在侵权问题相关的任何疑虑，以便立即调查和解决。
- 联系方式：ge.zhang@uwaterloo.ca；duxinrun2000@gmail.com。
- MAP-CC 数据集采用 Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License (CC BY-NC-ND 4.0) 许可。使用该数据集即表示接受并同意受该许可条款约束。该许可允许用户共享（以任何媒介或格式复制和重新分发）MAP-CC 数据集，仅限非商业目的，且不得修改或衍生，需注明创作者。选择该许可是为了促进学术和教育用途，在传播知识的同时保护创作者作品免受未经授权的商业使用或修改。
- 截至资料提供时，文中未提及具体收费或价格信息。
