SuperAPI AI 工具集

multimodal-llm

智能体与模型

查看项目

更新于 10-15 22:33

技能介绍

用途:提供视觉、音频与视频生成的多模态模型集成模式,覆盖图像分析、文档理解、实时语音代理、语音转文字、文字转语音与 AI 视频生成(Kling v3、Sora 2、Veo 3.1 std/lite/fast、Runway Gen-4.5 即 gen4_turbo)。共 9 条规则,分视觉、音频、视频生成三类。

主要能力:视觉部分含图像分析(Base64 编码、多图对比、边界框)、文档理解(PDF 页范围、细节等级、OCR 策略)、模型选择(供应商对比、token 成本、图像尺寸限制)。音频部分含语音转文字(Gemini 长音频、GPT-4o-Transcribe、AssemblyAI,说话人分离与时间戳)、文字转语音(Gemini TTS、语音配置、听觉提示)、音频模型选择。视频部分含模型选择(Kling/Sora/Veo/Runway 对比)、API 模式(异步轮询、SDK、webhook 回调)、多镜头生成(分镜、角色元素、身份绑定)。

使用方式:以规则文件形式给出各类模式,例如 vision-image-analysis.md、vision-document.md、audio-speech-to-text.md、video-generation-patterns.md、video-multi-shot.md 等。示例用 Anthropic SDK 将图片 Base64 编码后发送给 claude-opus-5-5 并设置 max_tokens。

限制与注意:视觉请求需设置 max_tokens,发送前需缩放图像(不超过 2048px),简单分类不必用高细节等级;语音对话优先用原生 speech-to-speech 而非 STT+LLM+TTS 管线;视频生成 API 为异步,需轮询或回调,不能同步调用;避免已弃用模型(GPT-4V、Whisper-1);Sora 成本高速度慢,不适合高频社交内容。claude-fable-5 为高端档,需用户明确同意方可用。官方文本、收费与更多平台细节暂未提供。