OSCTRL Desktop Automation 是一个面向桌面交互自动化的技能,基于 OSCTRL 命令行工具(CLI)实现。它适合在需要以程序化方式操作桌面环境时使用。
用途 该技能用于自动化桌面交互,具体包括:鼠标点击、移动与拖拽;以程序方式输入文本或按键;管理窗口(聚焦、移动、调整大小、最小化/最大化);通过截图进行验证;读写剪贴板;启动或列举进程。
关键规则 在任何鼠标操作之前,必须始终先调用 osctrl context。不要盲目点击。
主要能力与命令速查
- osctrl context:获取屏幕尺寸、鼠标位置、活动窗口。
- osctrl mouse move <x> <y>:移动光标。
- osctrl mouse click:左键单击。
- osctrl keyboard type <text>:输入文本。
- osctrl keyboard hotkey <keys...>:按键组合(如 ctrl c、alt f4)。
- osctrl screen capture --output <path>:屏幕截图。
- osctrl window focus <title>:聚焦窗口。
推荐工作流
- osctrl context:获取当前状态。
- 验证坐标:确认坐标在屏幕范围内。
- osctrl window focus <app>:确保处于正确的窗口。
- osctrl mouse move <x> <y>:定位光标。
- osctrl mouse click:执行操作。
- osctrl screen capture:验证结果。
适用场景 适用于需要通过命令行自动化桌面操作的场景,例如自动点击、自动输入、窗口切换与管理、截图验证、剪贴板操作以及进程的启动与列举。
相关文档 完整说明可在 docs/ai-instructions/ 中获取,涵盖 Claude Code(CLAUDE.md)、Cursor(.cursorrules)、OpenAI Codex、Gemini CLI 等工具。
限制 关于该技能的具体平台支持范围、系统要求、安装方式、收费与价格等信息,资料中暂未提供。