NLSOM（Natural Language-Based Societies of Mind，基于自然语言的思维社会）是一个多智能体协作框架，其核心理念受Marvin Minsky的“思维社会”和Jürgen Schmidhuber的“学习思考”启发。该项目旨在通过自然语言接口，让多个智能体（如大语言模型、基于神经网络的专家、API和角色扮演者）协同工作，以克服单一模型的局限，提升多模态零样本推理能力。NLSOM已被CVMJ 2025接收，并获得了NeurIPS 2023 Ro-FoMo Workshop最佳论文奖。
用途方面，NLSOM主要用于自动化任务求解，特别适合非技术用户。用户以自然语言描述目标后，系统能自动推荐相关的AI社区和智能体，形成自组织的思维社会来解决问题。例如，对于视觉问答任务，系统可推荐VQA社区并加载BLIP2_VQA、mPLUG_VQA、OFA_VQA等智能体；对于AGI介绍任务，可调用搜索社区中的Arxiv、WolframAlpha、Wikipedia、BingSearch等智能体；对于角色扮演任务，可加载关羽、刘备、诸葛亮、张飞等角色智能体。这些智能体通过“思维风暴”过程进行 mutual interviews，协作产生更全面的答案。
主要能力包括：推荐功能，根据用户目标自主选择社区和智能体；思维风暴，多个智能体协作更高效地解决任务；奖励机制，对参与智能体给予奖励；易于管理，通过模板调整可组织不同领域的NLSOM；易于扩展，支持自定义社区和智能体，当前已有16个社区和34个智能体；优雅的UI，支持多种文件源（图像、文本、音频、视频等）。系统还包含审查和总结环节，确保任务完成并整合各智能体输出。
使用方式上，项目提供三种安装方法：CONDA方式运行conda env create -n nlsom -f nlsom.yaml；PIP方式先创建环境conda create -n nlsom python=3.8再执行pip install -r requirements.txt；还需创建checkpoints目录、修改Huggingface和modelscope设置（具体行未提供）、在.env.template中填写API密钥（OpenAI API密钥为必填，其他可选），然后重命名为.env。使用流程示例：用户输入目标→系统推荐社区→自组织加载智能体→智能体分别响应→系统审查、总结并给出奖励。例如，在三国问题中，系统加载了关羽、刘备、诸葛亮、张飞等角色智能体，各自提出策略，最后由系统总结。
适用场景包括：多模态推理任务（如VQA、图像处理）；信息检索与整合（如介绍AGI）；角色扮演与创意生成（如三国策略）；以及需要多模型协作的复杂问题求解。系统还支持图像、文本、音频、视频等多源文件处理。
限制方面，资料中未明确说明具体性能指标、收费模式或平台兼容性细节。系统依赖外部API密钥，可能产生相应费用；奖励机制被描述为“rough”（粗略），未来可优化；对于模型贡献的评估可能不完全精确；此外，安装配置步骤涉及修改库文件，可能对用户技术能力有一定要求。部分扩展功能（如视频生成）在资料中未完整展示，具体实现细节暂未提供。
