SuperAPI AI 工具集

computer-use-automation

编程与开发

查看项目

更新于 10-15 17:28

技能介绍

用途:帮助设计操作图形界面的 AI 代理,即截图、理解屏幕内容,然后点击、输入、滚动或导航并循环执行。核心是感知→推理→动作闭环,并决定何时用计算机使用、何时改用结构化 API/MCP 工具——只要存在真实 API 就优先使用它,仅对无程序化接口的 GUI 才用计算机使用。

主要能力:覆盖选型建议、可靠性模式(每个动作基于当前截图、每步后验证、误点恢复)、安全护栏(破坏性操作确认门、沙箱、避免阻塞对话框)以及代理评估。提供两个脚本:tool_choice_advisor.py 根据 --api-exists、--gui-stability、--volume、--reversible 等参数推荐用计算机使用还是 API/MCP;action_safety_linter.py 用 --file 扫描计划动作列表,标记破坏性动词、缺失验证、缺失确认门和触发对话框的模式,支持 --format markdown 与 --json。两者均为 Python 3 标准库,argparse CLI。

使用方式:先确认是否存在真实 API/MCP、任务风险、目标工具;随后运行选型脚本,若建议使用 API/MCP 则停止并基于真实接口构建;否则按截图→推理→动作循环起草计划,每个改变状态的动作后追加验证观察,在任何破坏性或不可逆步骤前插入确认门,并选择一次性配置、测试账户或隔离虚拟机/容器作为沙箱。审计计划时把动作表示为 JSON 列表,运行 linter,逐项修复后重跑,先在沙箱试运行。

适用场景:设计或审计计算机使用代理、判断计算机使用与 API 的取舍、检查动作序列的安全与可靠性缺口。

限制:仅提供设计模式与脚本辅助,不生成完整代理实现;文档描述能力但不保证任何模型或平台的具体效果;价格、收费和平台支持暂未提供。