用途：autoresearch-ml 是一个在单 GPU 上自主优化 LLM 预训练的实验循环工具。它把“改代码—提交—跑约 5 分钟训练—测 val_bpb—保留或回退—无限重复”的流程自动化，适合长时间无人值守的模型结构、优化器、注意力与批次等超参数探索。
主要能力：提供自包含的模板与脚本。prepare.py 负责下载 HuggingFace 的 climbmix-400b-shuffle 分片、训练 8192 词表 BPE 分词器、构建对齐打包的 dataloader，并用 evaluate_bpb() 计算与词表无关的 bits-per-byte 指标。train.py 是唯一可修改文件，包含带 RoPE、滑动窗口注意力、value embeddings、Flash Attention 3 的 GPT，以及 MuonAdamW 优化器和时间预算训练。循环会提交 train.py、运行 autoresearch.sh、解析 METRIC 行，按 val_bpb 是否下降决定保留或 git revert，并把每次实验、ASI 注释与状态写入只追加的 autoresearch.jsonl。
使用方式：安装环境依赖后复制模板资产，执行 uv sync 与 uv run prepare.py 准备数据，用 nvidia-smi 和 torch 检查 CUDA。创建 autoresearch/<tag>-<date> 分支，把会话文件加入 .gitignore，编写 autoresearch.md 与 benchmark 脚本 autoresearch.sh，跑基线并记录 config、status 与基线结果，然后进入循环。可用 session-status.sh 判断继续、达到 max_iterations、连续失败墙或需人工确认。
适用场景与限制：需要支持的 GPU 与足够 VRAM；低显存需改掉 Flash Attention 3、启用 gradient checkpointing、按表缩小模型，Pascal 卡需 fp32。仅能改 train.py，不能加新包，固定 5 分钟预算，超 10 分钟按 crash 处理；val_bpb 不是官方发布指标，具体收费、平台与效果暂未提供。