SuperAPI AI 工具集

sfd-model-provider

智能体与模型

查看项目

更新于 10-16 06:07

技能介绍

用途

sfd-model-provider 用于帮助用户为 video-director 视频制作流水线配置 AI 服务商。该流水线需要两类服务:音频服务(必需)和至少一个视频生成服务。技能会引导用户完成账号注册、API 密钥获取和环境变量设置,并说明各服务商与模型的适用场景。

主要能力

视频生成服务商

用户需从以下五家中选择一家,技能建议先询问用户偏好;若无偏好,默认推荐 KIE。

KIE(推荐)

  • 对口播类内容最可靠,重试更少、音频更干净。
  • 注册:访问 https://docs.kie.ai/ ,创建账号并进入 API 区域,在控制台生成 API 密钥。
  • 环境变量:export KIE_API_KEY=your_key_here
  • 模型:Kling 3.0 Pro 适合口播、产品演示,对语音最可靠、重试更少;Veo 3.1 适合电影感、生活方式类 B-roll,画面质量更好但对语音可靠性较低。除非是 B-roll 或生活方式内容,默认使用 Kling 3.0 Pro。

Wavespeed

  • 适合快速交付以及带 webhook 回调的异步工作流。
  • 注册:访问 https://wavespeed.ai/dashboard ,创建账号,在控制台进入 API Keys,生成新密钥。
  • 环境变量:export WAVESPEED_API_KEY=your_key_here
  • 模型:Veo 3.1 Fast 适合快速迭代与测试,比 KIE 更快但质量较低;Kling 2.1 适合预算有限的口播,模型较旧但质量可接受。

Fal

  • 模型选择广,无服务器基础设施,按秒计费。
  • 注册:访问 https://fal.ai ,注册后在控制台进入 Keys,创建新 API 密钥。
  • 环境变量:export FAL_KEY=your_key_here
  • 模型:可在 fal.ai/models 查看可用模型,按“video generation”筛选。模型可用性变化频繁,智能体应检查当前可用模型。

Higgsfield

  • AI 视频与图像生成平台,通过单一界面访问多个模型(Kling 3.0、Sora 2、Veo 3.1、WAN 2.6),包含唇形同步工作室、运动控制和角色一致性工具。
  • 注册:访问 https://higgsfield.ai ,注册并创建工作区,进入 API 设置,生成 API 密钥。
  • 环境变量:export HIGGSFIELD_API_KEY=your_key_here
  • 模型:Kling 3.0 适合口播、最长 15 秒片段;Sora 2 适合高质量电影感内容;Veo 3.1 适合生活方式、B-roll;WAN 2.6 为通用型。Higgsfield 还提供唇形同步工作室和运动控制,支持最长 30 秒的角色动作,适合较长口播内容。

Replicate

  • 可访问开源与社区模型,按秒计费。
  • 注册:访问 https://replicate.com ,注册后进入 Account Settings,复制 API token。
  • 环境变量:export REPLICATE_API_TOKEN=your_key_here
  • 模型:可在 replicate.com/collections/video-generation 查看可用模型。社区模型质量参差不齐,建议先用单个场景测试再投入完整制作。

音频服务:ElevenLabs(必需)

ElevenLabs 负责跨场景的语音校验与音色一致性:

  • 语音转文本(STT):校验生成的语音是否匹配预期台词(QA 关卡)。
  • 语音转语音(STS):对最终视频进行音色替换,保证跨场景音色一致。

注册:访问 https://elevenlabs.io ,注册后进入 Profile Settings,复制 API 密钥。 环境变量:export ELEVENLABS_API_KEY=your_key_here

模型:scribe_v1 用于语音转文本(STT),校验每个场景的台词准确性;eleven_english_sts_v2 用于语音转语音(STS),对拼接后的视频进行最终音色替换。

使用方式

设置密钥后,可通过以下命令验证:

echo $ELEVENLABS_API_KEY # required echo $KIE_API_KEY # or whichever video provider was chosen

若变量为空,可将其添加到 ~/.zshrc、~/.bashrc 或项目根目录的 .env 文件中。

关键行为

  • ElevenLabs 始终必需,负责 STT 校验与音色替换,没有替代方案。
  • 需询问用户偏好哪家视频服务商,不要自行假设。
  • KIE 是默认推荐,对语音密集型内容最可靠。
  • Wavespeed 是带 webhook 支持的异步工作流的不错替代。
  • Fal 和 Replicate 提供更多模型,但需要智能体处理模型特定参数。
  • 无论使用哪家视频服务商,video-director 流水线的工作方式相同:智能体发送提示词、获取片段、运行 QA。
  • 若某服务商持续无法通过 QA 关卡,建议在消耗更多额度前更换服务商或模型。

适用场景

适用于为 video-director 视频制作流水线配置 AI 服务商的场景,尤其是需要口播、B-roll、生活方式类视频生成以及语音校验与音色统一的制作流程。

限制

资料未提供各服务商的具体收费价格、额度限制、并发上限或地域可用性等信息。Fal 与 Replicate 的模型可用性变化频繁,需实时查看官方页面。社区模型质量参差不齐,建议先小规模测试。