用途
sfd-model-provider 用于帮助用户为 video-director 视频制作流水线配置 AI 服务商。该流水线需要两类服务:音频服务(必需)和至少一个视频生成服务。技能会引导用户完成账号注册、API 密钥获取和环境变量设置,并说明各服务商与模型的适用场景。
主要能力
视频生成服务商
用户需从以下五家中选择一家,技能建议先询问用户偏好;若无偏好,默认推荐 KIE。
KIE(推荐)
- 对口播类内容最可靠,重试更少、音频更干净。
- 注册:访问 https://docs.kie.ai/ ,创建账号并进入 API 区域,在控制台生成 API 密钥。
- 环境变量:
export KIE_API_KEY=your_key_here - 模型:Kling 3.0 Pro 适合口播、产品演示,对语音最可靠、重试更少;Veo 3.1 适合电影感、生活方式类 B-roll,画面质量更好但对语音可靠性较低。除非是 B-roll 或生活方式内容,默认使用 Kling 3.0 Pro。
Wavespeed
- 适合快速交付以及带 webhook 回调的异步工作流。
- 注册:访问 https://wavespeed.ai/dashboard ,创建账号,在控制台进入 API Keys,生成新密钥。
- 环境变量:
export WAVESPEED_API_KEY=your_key_here - 模型:Veo 3.1 Fast 适合快速迭代与测试,比 KIE 更快但质量较低;Kling 2.1 适合预算有限的口播,模型较旧但质量可接受。
Fal
- 模型选择广,无服务器基础设施,按秒计费。
- 注册:访问 https://fal.ai ,注册后在控制台进入 Keys,创建新 API 密钥。
- 环境变量:
export FAL_KEY=your_key_here - 模型:可在 fal.ai/models 查看可用模型,按“video generation”筛选。模型可用性变化频繁,智能体应检查当前可用模型。
Higgsfield
- AI 视频与图像生成平台,通过单一界面访问多个模型(Kling 3.0、Sora 2、Veo 3.1、WAN 2.6),包含唇形同步工作室、运动控制和角色一致性工具。
- 注册:访问 https://higgsfield.ai ,注册并创建工作区,进入 API 设置,生成 API 密钥。
- 环境变量:
export HIGGSFIELD_API_KEY=your_key_here - 模型:Kling 3.0 适合口播、最长 15 秒片段;Sora 2 适合高质量电影感内容;Veo 3.1 适合生活方式、B-roll;WAN 2.6 为通用型。Higgsfield 还提供唇形同步工作室和运动控制,支持最长 30 秒的角色动作,适合较长口播内容。
Replicate
- 可访问开源与社区模型,按秒计费。
- 注册:访问 https://replicate.com ,注册后进入 Account Settings,复制 API token。
- 环境变量:
export REPLICATE_API_TOKEN=your_key_here - 模型:可在 replicate.com/collections/video-generation 查看可用模型。社区模型质量参差不齐,建议先用单个场景测试再投入完整制作。
音频服务:ElevenLabs(必需)
ElevenLabs 负责跨场景的语音校验与音色一致性:
- 语音转文本(STT):校验生成的语音是否匹配预期台词(QA 关卡)。
- 语音转语音(STS):对最终视频进行音色替换,保证跨场景音色一致。
注册:访问 https://elevenlabs.io ,注册后进入 Profile Settings,复制 API 密钥。
环境变量:export ELEVENLABS_API_KEY=your_key_here
模型:scribe_v1 用于语音转文本(STT),校验每个场景的台词准确性;eleven_english_sts_v2 用于语音转语音(STS),对拼接后的视频进行最终音色替换。
使用方式
设置密钥后,可通过以下命令验证:
echo $ELEVENLABS_API_KEY # required echo $KIE_API_KEY # or whichever video provider was chosen
若变量为空,可将其添加到 ~/.zshrc、~/.bashrc 或项目根目录的 .env 文件中。
关键行为
- ElevenLabs 始终必需,负责 STT 校验与音色替换,没有替代方案。
- 需询问用户偏好哪家视频服务商,不要自行假设。
- KIE 是默认推荐,对语音密集型内容最可靠。
- Wavespeed 是带 webhook 支持的异步工作流的不错替代。
- Fal 和 Replicate 提供更多模型,但需要智能体处理模型特定参数。
- 无论使用哪家视频服务商,video-director 流水线的工作方式相同:智能体发送提示词、获取片段、运行 QA。
- 若某服务商持续无法通过 QA 关卡,建议在消耗更多额度前更换服务商或模型。
适用场景
适用于为 video-director 视频制作流水线配置 AI 服务商的场景,尤其是需要口播、B-roll、生活方式类视频生成以及语音校验与音色统一的制作流程。
限制
资料未提供各服务商的具体收费价格、额度限制、并发上限或地域可用性等信息。Fal 与 Replicate 的模型可用性变化频繁,需实时查看官方页面。社区模型质量参差不齐,建议先小规模测试。