SuperAPI AI 工具集

desktop-automation-protocol

办公与效率

查看项目

更新于 11-04 05:31

技能介绍

桌面自动化协议是 windows-computer-use-mcp 的使用指南,围绕如何高效使用该 MCP(模型上下文协议)服务展开,涵盖工具选择、焦点规则、安全以及任务(mission)设计。

工具选择方面,协议按目标列出建议。若需点击已知按钮,可使用 automation_elements 的 click 操作,并按精确标题定位,速度快但要求标题准确;若按意图点击,可使用 automation_smart,以自然语言描述目标(如“保存按钮”),速度较慢但可跨所有窗口查找;复杂多步流程可交给 automation_mission,用具体目标(如“将文件另存为 PDF”)驱动自主循环并带重试;可重复序列可通过 automation_macro 先录制、停止后再回放;事件驱动场景可用 automation_watch 等待特定事件(如窗口出现);探索桌面可用 automation_smart 的 discover 获取所有运行中的应用;跨应用数据流水线可用 automation_mission 的工作流模式,配合动作、store_as 和 dollar-ref 实现数据提取与串联。

焦点规则要求:自动化开始后,不要 Alt+Tab 切换窗口或触碰鼠标;点击与输入序列执行期间,目标窗口必须保持在前台;若出现人类参与(HITL)审批,应批准并让目标窗口重新获得焦点;建议在暂停步骤之间或第二块显示器上阅读日志。

安全方面,生产使用前应阅读 docs/SAFETY.md;运行不受信任的自动化时,可搭配 virtualization-mcp 实现沙箱或虚拟机隔离;人脸、键盘记录等可选功能默认关闭,仅在需要时启用。

任务设计(automation_mission)方面,run 操作需提供清晰、具体的目标,服务端会通过 LLM 采样进行分解;workflow 操作需提供显式步骤,包含工具、参数、标签,以及可选的 store_as 和 dollar-ref 用于数据串联;自愈方面,可在步骤上设置 app_path,使任务能够重新启动崩溃的应用。

适用场景包括:跨应用的桌面操作自动化、重复性操作录制回放、事件驱动的窗口监控,以及需要多步自主执行的复杂流程。限制与注意事项:文档未提供具体系统要求、安装步骤、支持平台与价格信息,这些内容暂未提供;使用前应结合官方安全文档并视需要采用隔离环境。