SuperAPI AI 工具集

macos-agent-development

智能体与模型

查看项目

更新于 10-15 18:46

技能介绍

用途:指导使用 Swift 与 Accessibility API 开发 macOS 平台 Agent,用于监听应用界面消息并控制输入框,配合编排器完成自动化交互。

主要能力:辅助功能权限申请与检查;通过 NSWorkspace 定位微信进程(bundle id com.tencent.xinWeChat)并用 AXUIElement 遍历窗口/子元素提取 AXStaticText 消息、去重后上报;查找 AXTextField 并用 AXUIElementSetAttributeValue 写入或清空输入;基于 stdout 的 JSON 行协议收发消息与命令(MessageNew、CommandResponse、Error、HealthStatus);命令处理器注册与异步监听。

使用方式:项目按 main.swift、WeChatMonitor.swift、InputWriter.swift、IPC/、Utils/、Package.swift 组织;需在系统设置中授予辅助功能权限(AXIsProcessTrustedWithOptions 提示)。构建运行:swift build -c release,产物 .build/release/macos_agent,直接执行该文件。

适用场景:macOS 上需读取界面文本并自动填写的 Agent 开发、UI 元素检查与调试、辅助功能相关问题排查。

限制:消息提取与输入框定位需按目标应用实际 UI 层级调整,示例为通用递归查找;单元测试示例尚未实现 stdout 捕获;平台要求 macOS 11 及以上;未提供收费、分发与签名等细节。