OLMo 是 AI2 开发的开源语言模型仓库，提供训练和使用其先进开源语言模型的代码，设计理念是“由科学家为科学家打造”。
用途：该项目主要用于训练和运行 AI2 的开源语言模型，涵盖建模、训练、评估与推理全流程。
主要能力：支持预训练与微调，预训练采用两阶段流程——第一阶段在大规模网络数据（OLMo-mix-1124）上训练，第二阶段在高质量定向数据（Dolmino-mix-1124）上训练。提供至少每 1000 训练步的检查点，支持 OLMo core 与 Hugging Face 格式。提供指令微调变体（1B、7B、13B、32B Instruct）。附带评估工具（OLMo Eval、olmes）以及 Modal.com 托管示例脚本。
使用方式：首先按操作系统说明安装 PyTorch，训练和微调建议从源码安装，也可从 PyPI 安装。复现训练流程时运行指定命令并选用相应训练配置；可通过命令行覆盖配置设置。训练数据默认通过 HTTP 流式加载，大规模复现建议下载到本地并修改路径。需将 PyTorch 升级至 2.5.x。推理可使用 Hugging Face 集成或 pipeline 抽象；量化模型对输入类型和 CUDA 处理敏感，建议显式将 input_ids 转换为 CUDA。Modal.com 托管示例脚本位于 ./scripts/olmo2_modal_openai.py，需按 Modal.com 指南安装库并创建指定名称的密钥。
适用场景：适合研究人员和开发者进行开源语言模型的预训练复现、微调、评估与推理部署。
限制：该仓库已与较新版本不同步且不再活跃，最新版本需访问 OLMo-core。32B 变体由新训练器训练，训练或微调需前往 OLMo-core。该仓库未提供收费、价格、平台或效果等相关信息。
