用途
OmAgent 是一个用于构建多模态语言智能体的 Python 库，目标是让开发者能够快速原型设计和生产部署多模态智能体。它通过封装复杂的工程细节（如工作器编排、任务队列、节点优化等），提供简单易用的接口来定义智能体。
主要能力
- 多模态交互支持：原生支持 VLM 模型、实时 API、计算机视觉模型、移动设备连接等，使智能体能够对文本、图像、视频和音频输入进行推理。
- 灵活的智能体架构：提供基于图的工作流编排引擎和多种记忆类型，支持上下文推理。
- 可复用组件抽象：支持从基础组件聚合构建复杂智能体。
- 先进算法：内置 ReAct、CoT、SC-CoT 等超越简单 LLM 推理的单模态和多模态智能体算法。
- 本地部署：支持通过 Ollama 或 LocalAI 在本地部署自有模型。
- 分布式架构：支持完全分布式部署和自定义扩展，同时提供 Lite 模式，无需中间件部署。
使用方式
- 安装：使用 pip 安装 omagent_core 最新版本：
pip install omagent-core，或从源码安装：pip install -e omagent-core。 - 配置：生成 container.yaml 文件（例如在
examples/step1_simpleVQA目录下运行python compile_container.py），并在configs/llms/gpt.yml中配置 LLM 设置，可通过环境变量设置 OpenAI API 密钥或兼容端点：export custom_openai_key="your_openai_api_key"和export custom_openai_endpoint="your_openai_endpoint"。也可使用本地部署的 Ollama 调用自有语言模型。 - 运行示例：运行简单 VQA 演示（网页 GUI）：在
examples/step1_simpleVQA目录下执行python run_webpage.py，然后打开http://127.0.0.1:7860查看界面。
适用场景
- 视频问答智能体：构建能够回答关于上传视频任何问题的系统，提供基于 Gradio 的应用。
- 移动个人助理：快速构建类似 Google Astral 的个人多模态助理。
- 智能体算子：定义可复用的智能体工作流（如 CoT、ReAct 等），并在相同 LLM 和测试数据集上比较不同推理智能体算子的表现。
限制
资料中未明确说明具体的限制条件。
