Agent S 操作技能用于配合 simular-ai/Agent-S 这一 Apache-2.0 开源计算机使用代理框架，其 Agent S3 版本（gui-agents 0.3.2，agent_s CLI）会截取桌面截图并执行模型生成的代码。该技能的目标是让 Agent S3 作为受监督工具运行，而不是无人值守的自动化工具。资料说明其审计基于提交 0fff0e634869dab72027435b4586e62300185d41（2026-10-21）及已发布的 gui-agents 0.3.2 wheel，审计事实、风险与版本固定信息见 references/upstream.md。
用途：适用于对 Agent S3 及其 agent_s CLI 进行适配性检查、安装、配置、预检、运行和故障排查；选择供应商、设置 grounding 模型（UI-TARS）、解释 --ground_* 与 --grounding_* 参数；判断 --enable_local_env 是否可接受（该参数会运行任意 Python 与 Bash）。不适用于 Playwright 或 Selenium 测试自动化、有 CLI 或 API 的任务（browser-harness、stagehand），也不适用于 Agent S4 的 AWS-VM 演化循环。
主要能力与流程：1）固定操作范围：先记录一个模式（orient、install、configure、run、troubleshoot）、一个具体任务和运行机器；优先使用一次性虚拟机、独立系统用户或清空的桌面，因为模型每一步都会看到整个屏幕。2）先运行离线门禁：辅助脚本读取主机信息，配合 --repo 时读取代码检出；它不会启动 Agent S、pip、模型调用或截图，不打开套接字，也不写入内容。命令示例：python3 .agent-skills/agent-s/scripts/preflight.py --json，以及 python3 .agent-skills/agent-s/scripts/preflight.py --repo /path/to/Agent-S --expect-commit 0fff0e634869dab72027435b4586e62300185d41 --json；已安装技能使用 python3 "$SKILLS_ROOT/agent-s/scripts/preflight.py"。需仔细阅读 Python 检查结果：pip 在 Python 3.12.1 及更高版本上会拒绝 gui-agents 0.3.2，因此环境需要 3.9 至 3.11（或恰好 3.12.0）；audit:* 行报告代码检出中 cli_app.py 的实际行为。3）对每个副作用单独审批：pip install gui-agents（或 pip install -e .）会拉取 paddleocr、paddlepaddle 等较重依赖，并可能涉及 brew install tesseract；创建或使用 grounding 端点（如 Hugging Face Inference Endpoints 上的 UI-TARS 或其他供应商，属于付费且会接收每张截图）；导出供应商密钥，不得粘贴到聊天或日志；首次运行时代理会在真实桌面上点击和输入并执行模型生成的代码；--enable_local_env 会以用户权限运行任意 Python 与 Bash，只应在一次性虚拟机或容器内允许；任何发送消息、花钱、删除数据或接触凭据的任务，都需要工具本身不提供的人工确认步骤。4）按对应参考分支操作：安装、Python 范围、依赖见 references/upstream.md 的 Install；模型、grounding、参数、坐标见 Models and grounding；运行循环、日志、暂停键见 Run loop；安全与未使用的权限对话框见 Safety findings；Agent S4、OSWorld、OpenClaw 封装见 Other upstream surfaces。5）窄范围验证：从打开计算器或空白文本编辑器等无害任务开始，使用 --task "<一句话>" 并有人注视；Ctrl+C 暂停运行，Esc 恢复，再次 Ctrl+C 退出；应从屏幕和本次运行的 logs/ 文件报告代理做了什么，而不是根据模型声称的成功来判断。
使用示例：安装前的适配性检查——运行预检，报告 Python 结论和 tesseract 结果，列出用户必须提供的模型与 grounding 端点，并说明截图会发送到这些端点，不要安装。对于“让它清理我的下载文件夹”这类请求，应拒绝在个人机器上无人值守运行，改为提供虚拟机、用 --task 限定单个文件夹、不使用 --enable_local_env，并由人监视且随时按 Ctrl+C。
最佳实践与限制：将生成的代码视为不可信输入，因为该版本会直接用 exec() 执行它；不要假设存在确认对话框，show_permission_dialog 在 cli_app.py 中定义但从未被调用；将 --grounding_width 与 --grounding_height 匹配 grounding 模型的输出空间（UI-TARS-1.5-7B 为 1920x1080，UI-TARS-72B 为 1000x1000）；运行前关闭密码管理器、聊天和邮件，因为模型会读取屏幕上的一切；保持辅助脚本离线且诚实，PATH 上存在工具并不等于有可用的模型端点或屏幕权限。关于收费、价格、平台覆盖或效果，资料未作提供。