OpenLens AI 是一个全自主多模态科研智能体,旨在自动化科研工作流程。其核心定位是作为研究助手,帮助用户完成从文献调研到论文撰写的多个环节。
主要能力包括:
- 自动化文献综述:根据研究问题搜索并总结论文。
- 数据分析:分析数据集并生成综合报告。
- 实验设计:建议并验证实验方法。
- 代码生成与执行:借助 OpenHands 生成并执行用于数据分析和实验的代码。
- LaTeX 论文生成:自动创建和管理 LaTeX 格式的研究论文与报告。
- 交互式界面:基于 Streamlit 的界面,用于监控和交互研究过程。
- 上下文管理:通过向量搜索自动管理智能体的上下文信息。
- 智能体文件管理:识别并移除重复文件和模拟数据。
- 视觉语言反馈:集成 VLM 进行可视化与反馈。
- 中文语言支持:全面支持中文论文写作。
使用方式: 项目提供云端应用,无需安装即可在浏览器中体验。本地运行需满足以下条件:Python 3.9 或更高版本、Docker(用于 OpenHands 运行时环境)、LLM 服务 API 密钥(如 DeepSeek、OpenAI、Qwen 等)以及 Tavily 搜索 API 密钥。安装步骤包括克隆仓库、确保 Docker 安装、拉取运行时(推荐)或从源码构建、安装依赖(创建 conda 环境并安装 OpenHands 及 Python 依赖)、配置环境变量(在 config.toml 中设置),然后运行应用,浏览器访问 http://localhost:8501 即可使用交互界面。
架构上,OpenLens AI 采用基于 LangGraph 的多模块架构,包含文献综述者、数据分析者、监督者、编码者和 LaTeX 撰写者等智能体,它们通过共享状态通信,并可调用网络搜索(Tavily)、代码执行(OpenHands)、文件操作、向量搜索等工具。文献搜索工具支持 arXiv、medRxiv、Google Scholar 和 Tavily,部分工具如 IACR ePrint、Semantic Scholar、PubMed 尚在计划中。
可选功能包括 GitHub 集成,可将生成的代码产物发布到 GitHub,需在 config.toml 中配置 [git] 部分,并生成具有适当权限的 GitHub token。安全方面,建议将 token 仅存储在本地配置文件中,避免提交至 Git。
项目支持自定义,可添加新智能体或工具,并欢迎贡献。采用 MIT 许可证。
限制方面,部分功能如基于 PowerPoint 的图表生成、通过长上下文模型进行上下文管理尚在计划中。使用需自行准备 API 密钥和 Docker 环境。