用途
AgentLego 是一个开源的工具 API 库，旨在扩展和增强基于大语言模型（LLM）的智能体。它为 LLM 智能体提供丰富的多模态工具能力，使智能体能够执行视觉感知、图像生成与编辑、语音处理以及视觉-语言推理等任务。
主要能力
AgentLego 提供了一组多模态工具，主要分为以下几类：
- 通用能力：Calculator（通过 Python 解释器计算）、GoogleSearch（Google 搜索）、TextToSpeech（将输入文本转为音频）、SpeechToText（将音频转录为文本）。
- 图像处理相关：ImageDescription（描述输入图像）、OCR（从照片中识别文字）、VQA（根据图像回答问题）、HumanBodyPose（估计图像中人体姿态或关键点）、HumanFaceLandmark（估计图像中人脸关键点）、ImageToCanny（提取图像边缘）、ImageToDepth（生成深度图）、ImageToScribble（生成草图涂鸦）、ObjectDetection（检测图像中所有对象）、TextToBbox（检测图像中由文本描述的特定对象）。
- Segment Anything 系列：SegmentAnything（分割图像中所有项目）、SegmentObject（根据给定对象名称分割图像中特定对象）。
- 图像生成与编辑：TextToImage（根据输入文本生成图像）、ImageExpansion（基于图像内容扩展周边区域）、ObjectRemove（移除图像中特定对象）、ObjectReplace（替换图像中特定对象）、ImageStylization（根据指令修改图像）。
- ControlNet 系列：CannyTextToImage（根据 Canny 边缘图像和描述生成图像）、DepthTextToImage（根据深度图像和描述生成图像）、PoseToImage（根据人体姿态图像和描述生成图像）、ScribbleTextToImage（根据草图涂鸦图像和描述生成图像）。
- ImageBind 系列：AudioToImage（根据音频生成图像）、ThermalToImage（根据热成像图像生成图像）、AudioImageToImage（根据音频和图像生成图像）、AudioTextToImage（根据音频和文本提示生成图像）。
AgentLego 的特点包括：
- 丰富的工具集，用于 LLM 智能体的多模态扩展，包括视觉感知、图像生成与编辑、语音处理、视觉-语言推理等。
- 灵活的工具接口，允许用户轻松扩展自定义工具，支持任意类型的参数和输出。
- 易于集成到基于 LLM 的智能体框架，如 LangChain、Transformers Agents、Lagent。
- 支持工具服务化与远程访问，尤其适用于使用重型机器学习模型（如 ViT）或需要特殊环境（如 GPU 和 CUDA）的工具。
使用方式
安装 AgentLego 包，并针对特定工具安装所需依赖。部分工具需要额外软件包，需查看该工具的 readme 文件并确认所有要求已满足。例如，使用 ImageDescription 工具时，需要查看其 readme 的 Set up 部分并安装相关依赖。
使用方式包括两种：直接使用工具，或将其集成到智能体框架中。
适用场景
AgentLego 适用于需要为 LLM 智能体扩展多模态工具能力的场景，例如视觉感知、图像生成与编辑、语音处理、视觉-语言推理等。也适用于需要将重型模型或特殊环境工具以服务化方式远程访问的智能体应用。
限制
本项目基于 Apache 2.0 许可证发布。用户还应确保遵守本项目中所使用模型的相关许可证。
