omniparser-autogui-mcp 是一个 MCP（Model Context Protocol）服务器，核心功能是通过 OmniParser 分析屏幕内容，并自动操作屏幕上的 GUI（图形用户界面）。项目已在 Windows 环境下验证可用。
用途：将屏幕视觉分析与自动化操作结合，让 AI 代理能够识别屏幕上的界面元素并执行点击、输入等操作，适用于需要 GUI 自动化的场景。
主要能力：
- 使用 OmniParser 分析屏幕，识别界面元素。
- 自动操作屏幕 GUI。
- 作为 MCP 服务器，可接入支持 MCP 的客户端（如 Claude Desktop）。
- 支持指定目标窗口名称（TARGET_WINDOW_NAME），未指定时操作整个屏幕。
- 支持将 OmniParser 处理放在另一台设备上（OMNI_PARSER_SERVER），服务器可通过 uv run omniparserserver 启动。
- 支持通过 SSE 进行通信（SSE_HOST、SSE_PORT），而非 stdio。
- 提供 OMNI_PARSER_BACKEND_LOAD 选项，用于兼容 LibreChat 等其他客户端。
- 提供 OmniParser 相关配置项：SOM_MODEL_PATH、CAPTION_MODEL_NAME、CAPTION_MODEL_PATH、OMNI_PARSER_DEVICE、BOX_TRESHOLD，通常不需要设置。
使用方式： 需要完成以下步骤（Windows 使用 set，其他系统使用 export；如需 langchain_example.py 工作，使用 uv sync --extra langchain）。 将配置添加到 claude_desktop_config.json 中，并将 D:\CLONED_PATH\omniparser-autogui-mcp 替换为实际克隆目录。 env 中可添加上述额外配置。 在屏幕上的浏览器中搜索“MCP server”。
适用场景：
- 需要自动操作屏幕 GUI 的 Windows 环境。
- 通过 MCP 客户端（如 Claude Desktop）实现界面自动化。
- 可将屏幕分析负载分配到其他设备。
限制：
- 已在 Windows 上验证，其他平台暂未说明。
- 许可证方面：项目为 MIT，但排除子模块和子包；OmniParser 仓库为 CC-BY-4.0，各 OmniParser 模型许可证不同。
- 具体模型版本、性能与效果等细节暂未提供。
