SuperAPI AI 工具集

automate-this

设计与创作

查看项目

更新于 10-15 21:52

技能介绍

用途:用户录制自己重复或繁琐的手动操作视频后,该技能分析录屏,弄清用户在做什么、为什么做,并给出可运行的自动化脚本。

主要能力:先检查 ffmpeg(必需)与 whisper/whisper-cpp(可选,用于旁白转写)。随后从视频中每 2 秒提取一帧,超过 5 分钟则改为每 4 秒一帧;若有音轨则提取音频并转写。接着按顺序分析画面与转写,识别所用应用、操作步骤、数据流向、决策点、重复模式与痛点,并以编号步骤向用户确认。之后检测操作系统、Shell、Python、Node、Homebrew 及 curl、jq、playwright、osascript 等工具,据此约束方案。最后按三个层级提出自动化:Tier 1 快速见效(5 分钟内,如别名、快捷键、AppleScript),Tier 2 独立脚本(30 分钟内,端到端处理常见错误),Tier 3 完整自动化(2 小时内,含定时执行、日志、错误通知与集成)。

使用方式:提供录屏文件路径(通常在 ~/Desktop/),技能会运行环境检查命令,如 command -v ffmpeg、ffprobe 检查音轨、ffmpeg 提取帧与音频、whisper 转写。用户确认流程重建后选择层级,技能写出完整代码并陪同试运行。

适用场景:浏览器重复下载报表、表格数据筛选转换、邮件发送、文件批量整理、终端重复命令、macOS 原生应用控制,以及跨应用数据搬运等。

限制:ffmpeg 缺失时需先安装(如 brew install ffmpeg);无 Whisper 且视频有旁白时只能做纯视觉分析。方案受用户已有工具约束,不硬编码凭据,需保留人工审核环节,并建议提供 dry-run。分析结束后会删除临时帧与音频文件。具体收费、平台支持范围等资料暂未提供。