用途
ForgeTrain 是一个面向大语言模型（LLM）预训练的训练框架。其独特之处在于整个框架由 AI Agent 循环自主编写完成，没有任何人工修改。该项目同时提供产生该框架的 Harness 脚手架（即将发布），用于在其他训练栈上复现这一 Agent 驱动的开发过程。
主要能力
- 100% Agent 循环编写：整个框架由运行在自动循环模式下的 AI Agent 生成，零人工编辑。
- 自诊断 Agent 循环：循环流程包括阅读参考代码 → 实现 → 启动作业 → 解析日志 → 根因分析 → 修补 → 通过门禁 → 提交，全程自主。
- 高性能：在 H100 上达到 44.13% MFU，比 Megatron-LM 基线（约 40%）高约 10%，在 64 张 H100、BF16、纯数据并行配置下验证。
- 生产验证：MiniCPM4-0.5B 完整预训练，产出真实模型权重（非演示）。
- GEMM + Attention 内核由 Agent 循环编写：单算子 MFU 最高达 90%；从零实现的 FlashAttention 超越 Transformer Engine / FA3，与 FA4 持平。
- 开箱即用：支持 CUDA Graph、Triton 融合内核以及通信-计算重叠。
- 8B 版本：在单台 8×H100 主机上运行 MiniCPM4-8B，张量并行=2，MFU 50.9%，比 Megatron-LM 基线高约 8%。
使用方式
项目包含两个可用的训练框架导出目录：
exports/train_engine_0.5B/：0.5B 训练框架，可直接使用。exports/train_engine_8b/：8B 训练框架。
环境要求：Python ≥ 3.11、CUDA 12.x、PyTorch ≥ 2.4、NVIDIA H100 80GB（SM90）。完整预训练需要 8×H100；早期对齐阶段可在单 GPU 上运行。
快速部署面向 AI Agent 设计，可将提示词粘贴到 Cursor / Claude Code / Codex / Cline 中，由 Agent 自动读取 README、安装依赖、运行冒烟测试并报告 MFU。最小预训练演示包含 5 个步骤。数据集参数 --hf-dataset 接受 HuggingFace Hub 名称（如 openai/gsm8k）或本地 Parquet / Arrow / JSON 目录。
在 8×H100、BF16 下，预期 MFU 约 44%，GBS=1280 / MBS=10 / seq=4096 时步长时间约为 XXXms。
完整文档（含多节点训练、检查点恢复、HuggingFace 导出）见各导出目录的 README。
适用场景
- 需要在 H100 集群上进行 LLM 预训练的团队。
- 希望研究或复现“AI Agent 自主编写训练框架”这一开发范式的开发者。
- 使用 MiniCPM4 系列模型架构的研究者。
限制
ForgeTrain v1 的范围限于 MiniCPM4-0.5B（仅数据并行）和 MiniCPM4-8B（张量并行=2）× BF16；Megatron-LM 支持更广泛的模型族和并行策略。对比基于相同硬件（H100, SM90）上的 Megatron-LM v0.15。Harness 脚手架和 8B 框架的配套说明尚未发布（即将推出）。
版本与许可
当前版本：v0.1.0（2026-05 发布）。2026-08 发布技术报告论文《ForgeTrain: Forging Production-Grade Training Frameworks via Harness-Driven AI Development》。采用 Apache License 2.0 许可。项目构建于 CUTLASS / CuTeDSL、FlashAttention-4、TransformerEngine、Megatron-LM、Cursor、MiniCPM4 等开源工作之上。
