SuperAPI AI 工具集

ai-video-tools

智能体与模型

查看项目

更新于 10-15 20:09

技能介绍

用途:为 Clips 录屏应用定义 AI 功能的实现规则,要求除转写外的所有 AI 能力都委托给智能体聊天,避免在 UI 或服务端另建影子智能体。

主要能力与委托方式:标题、摘要/描述、章节、标签、去口癖、评论自动回复等均通过 sendToAgentChat 以 background 模式提交给智能体,由智能体调用 update-recording、generate-chapters、generate-ai-metadata、generate-filler-removal 等动作写回结果。动作不应等待智能体响应,采用 fire and forget,结果经 refresh-signal 推送到 UI。

“包含完整视频”偏好:includeFullVideoInAi 存于 clips-user-prefs,默认关闭。开启后标题、描述、章节等需智能体观看视频而非仅读转写;理解完整视频需 Gemini 模型(Builder Gemini 或 GEMINI_API_KEY),Claude 与 OpenAI 无法摄取 MP4/WebM。

转写例外:request-transcript 直接调用转写 API。优先级为本地优先(浏览器 Web Speech、桌面本地 Whisper/macOS SFSpeech,经 save-browser-transcript 保存,无需密钥),云端回退为 Builder.io 托管 Gemini(BUILDER_PRIVATE_KEY 或已连接 Builder 账户),再回退 Groq whisper-large-v3-turbo(GROQ_API_KEY,约 $0.04/小时)。Clips 不会将录音/会议音频路由到 OpenAI 转写。无本地转写且无云端回退时写入 status="failed"。

限制与禁止:不要为 AI 功能渲染机器人、闪光或魔杖图标;不要把完整转写塞入 sendToAgentChat 上下文,应传 id 让智能体自行获取;不要从动作中 await 智能体响应;不要新增 OpenAI 转写路径或导入 Anthropic SDK。Builder 转写因额度耗尽失败时,可提示升级 Builder.io 或配置 Groq 密钥。