用途
AI-Scientist 是 SakanaAI 开发的、面向全自动开放式科学发现的系统。其目标是让大语言模型等基础模型能够独立开展研究,而不仅仅作为辅助工具。该系统旨在覆盖从产生想法到论文生成与评审的完整科研流程,减少人工监督。
主要能力
- 自动生成科研想法并执行实验。
- 撰写论文,并支持 LLM 生成的论文评审。
- 提供三个模板,分别针对不同研究领域:NanoGPT(基于 Transformer 的自回归下一词预测任务)、2D Diffusion(在低维数据集上改进扩散生成模型性能)、Grokking(深度神经网络中的泛化与学习速度问题)。
- 支持多种模型,包括开放权重与仅 API 的模型,建议使用能力高于原始 GPT-4 的前沿模型。
- 支持通过环境变量配置 API 密钥,包括 OPENAI_API_KEY、ANTHROPIC_API_KEY、DEEPSEEK_API_KEY、OPENROUTER_API_KEY 等,并支持 Google Gemini 模型。
- 可选使用 Semantic Scholar API Key(S2_API_KEY)提高吞吐量,或使用 OpenAlex API 作为替代(无需 API 密钥,实验性)。
使用方式
- 环境要求:代码设计在 Linux、NVIDIA GPU、CUDA 与 PyTorch 下运行。其他 GPU 架构可参考 PyTorch 指南;当前模板在纯 CPU 机器上可能耗时不可行;其他操作系统可能需要大量调整。
- 安装:需安装 texlive-full,过程可能较长,安装时可能需要按住回车。
- 设置模板:针对所选模板完成准备步骤。
- NanoGPT 模板:准备数据,运行
python data/enwik8/prepare.py、python data/shakespeare_char/prepare.py、python data/text8/prepare.py;然后创建基线运行(在 templates/nanoGPT 下执行python experiment.py --out_dir run_0与python plot.py)。 - 2D Diffusion 模板:安装依赖,克隆 NPEET 并安装,安装 scikit-learn;然后创建基线运行(在 templates/2d_diffusion 下执行
python experiment.py --out_dir run_0与python plot.py)。 - Grokking 模板:安装依赖
pip install einops;然后创建基线运行(在 templates/grokking 下执行python experiment.py --out_dir run_0与python plot.py)。
- NanoGPT 模板:准备数据,运行
- 运行实验:在完成设置后运行主实验脚本;若有多块 GPU,可用
--parallel选项并行处理想法。 - 自定义模板:按照现有模板结构创建,包含 experiment.py、plot.py、prompt.json、seed_ideas.json、latex/template.tex,保持基础文件名与输出 JSON 格式一致,更新 template.tex 中的引用风格与基础图表。
- 社区模板:欢迎社区贡献新模板,提供了一些社区模板列表及对应 PR 链接,例如 Infectious Disease Modeling、Image Classification with MobileNetV3、Sketch RNN、AI in Quantum Chemistry、Earthquake Prediction、Tensorial Radiance Fields、Large Language Model Steering / Probes 等。
适用场景
- 自动化科研探索,特别是可编码表达的研究想法。
- 在 NanoGPT、2D Diffusion、Grokking 等领域自动生成想法并实验。
- 需要自动生成论文草稿与评审的研究流程。
- 研究人员或开发者探索 AI 驱动的科学发现。
限制与注意
- 该代码库会执行 LLM 编写的代码,存在风险,包括使用潜在危险软件包、网络访问以及可能启动进程。请自行斟酌使用,务必进行容器化并适当限制网络访问。
- 当前迭代中,系统仅限于可用代码表达的想法。
- 论文生成成功率和评审质量取决于模板、基础模型与想法复杂度;最高成功率见于 Claude Sonnet 3.5,评审最佳使用 GPT-4o,其他模型存在积极性偏差或无法符合所需输出的问题。
- 每个想法的成本通常低于 15 美元(使用 Claude Sonnet 3.5);推荐 DeepSeek Coder V2 以大幅降低成本。
- 需自行运行基线运行(run_0),因硬件差异影响运行时间比较。
- 若无法访问 Semantic Scholar API,可能跳过文献检索与引用阶段。
- 项目采用 The AI Scientist Source Code License(Responsible AI License 的衍生),使用时必须明确披露 AI 的使用,建议在论文摘要或方法部分注明:“This manuscript was autonomously generated using The AI Scientist.”
- 提供社区贡献的 Docker 镜像(experimental/Dockerfile)可用于容器化。
- 默认使用 OPENAI_API_KEY 环境变量等,需提供运行所用模型的密钥。