SuperAPI AI 工具集

AI-Scientist

AI-Scientist 是 SakanaAI 推出的开源系统,目标是实现全自动、开放式的科学发现。它让大语言模型等基础模型独立进行研究:生成想法、编写代码、执行实验、撰写论文,并借助 LLM 进行自动同行评审。项目提供 NanoGPT、2D Diffusion、Grokking 三个模板,覆盖相应研究领域。代码设计在 Linux、NVIDIA GPU、CUDA 与 PyTorch 环境下运行,支持多种模型与 API 密钥。注意:该代码会执行 LLM 编写的代码,存在使用危险包、网络访问及启动进程等风险,需自行权衡并使用容器化与限制网络访问。论文中每篇论文成本通常低于 15 美元(使用 Claude Sonnet 3.5),推荐 DeepSeek Coder V2 以降低成本。

访问官网

工具介绍

用途

AI-Scientist 是 SakanaAI 开发的、面向全自动开放式科学发现的系统。其目标是让大语言模型等基础模型能够独立开展研究,而不仅仅作为辅助工具。该系统旨在覆盖从产生想法到论文生成与评审的完整科研流程,减少人工监督。

主要能力

  • 自动生成科研想法并执行实验。
  • 撰写论文,并支持 LLM 生成的论文评审。
  • 提供三个模板,分别针对不同研究领域:NanoGPT(基于 Transformer 的自回归下一词预测任务)、2D Diffusion(在低维数据集上改进扩散生成模型性能)、Grokking(深度神经网络中的泛化与学习速度问题)。
  • 支持多种模型,包括开放权重与仅 API 的模型,建议使用能力高于原始 GPT-4 的前沿模型。
  • 支持通过环境变量配置 API 密钥,包括 OPENAI_API_KEY、ANTHROPIC_API_KEY、DEEPSEEK_API_KEY、OPENROUTER_API_KEY 等,并支持 Google Gemini 模型。
  • 可选使用 Semantic Scholar API Key(S2_API_KEY)提高吞吐量,或使用 OpenAlex API 作为替代(无需 API 密钥,实验性)。

使用方式

  1. 环境要求:代码设计在 Linux、NVIDIA GPU、CUDA 与 PyTorch 下运行。其他 GPU 架构可参考 PyTorch 指南;当前模板在纯 CPU 机器上可能耗时不可行;其他操作系统可能需要大量调整。
  2. 安装:需安装 texlive-full,过程可能较长,安装时可能需要按住回车。
  3. 设置模板:针对所选模板完成准备步骤。
    • NanoGPT 模板:准备数据,运行 python data/enwik8/prepare.py、python data/shakespeare_char/prepare.py、python data/text8/prepare.py;然后创建基线运行(在 templates/nanoGPT 下执行 python experiment.py --out_dir run_0 与 python plot.py)。
    • 2D Diffusion 模板:安装依赖,克隆 NPEET 并安装,安装 scikit-learn;然后创建基线运行(在 templates/2d_diffusion 下执行 python experiment.py --out_dir run_0 与 python plot.py)。
    • Grokking 模板:安装依赖 pip install einops;然后创建基线运行(在 templates/grokking 下执行 python experiment.py --out_dir run_0 与 python plot.py)。
  4. 运行实验:在完成设置后运行主实验脚本;若有多块 GPU,可用 --parallel 选项并行处理想法。
  5. 自定义模板:按照现有模板结构创建,包含 experiment.py、plot.py、prompt.json、seed_ideas.json、latex/template.tex,保持基础文件名与输出 JSON 格式一致,更新 template.tex 中的引用风格与基础图表。
  6. 社区模板:欢迎社区贡献新模板,提供了一些社区模板列表及对应 PR 链接,例如 Infectious Disease Modeling、Image Classification with MobileNetV3、Sketch RNN、AI in Quantum Chemistry、Earthquake Prediction、Tensorial Radiance Fields、Large Language Model Steering / Probes 等。

适用场景

  • 自动化科研探索,特别是可编码表达的研究想法。
  • 在 NanoGPT、2D Diffusion、Grokking 等领域自动生成想法并实验。
  • 需要自动生成论文草稿与评审的研究流程。
  • 研究人员或开发者探索 AI 驱动的科学发现。

限制与注意

  • 该代码库会执行 LLM 编写的代码,存在风险,包括使用潜在危险软件包、网络访问以及可能启动进程。请自行斟酌使用,务必进行容器化并适当限制网络访问。
  • 当前迭代中,系统仅限于可用代码表达的想法。
  • 论文生成成功率和评审质量取决于模板、基础模型与想法复杂度;最高成功率见于 Claude Sonnet 3.5,评审最佳使用 GPT-4o,其他模型存在积极性偏差或无法符合所需输出的问题。
  • 每个想法的成本通常低于 15 美元(使用 Claude Sonnet 3.5);推荐 DeepSeek Coder V2 以大幅降低成本。
  • 需自行运行基线运行(run_0),因硬件差异影响运行时间比较。
  • 若无法访问 Semantic Scholar API,可能跳过文献检索与引用阶段。
  • 项目采用 The AI Scientist Source Code License(Responsible AI License 的衍生),使用时必须明确披露 AI 的使用,建议在论文摘要或方法部分注明:“This manuscript was autonomously generated using The AI Scientist.”
  • 提供社区贡献的 Docker 镜像(experimental/Dockerfile)可用于容器化。
  • 默认使用 OPENAI_API_KEY 环境变量等,需提供运行所用模型的密钥。