用途:从文本描述生成完整视频,覆盖图像生成、视频合成、配音与剪辑的端到端流程,也可单独将图像序列转为视频或为已有视频添加旁白。
主要能力:图像生成支持 DALL-E 3、Stable Diffusion、Flux;视频生成支持 LumaAI、Runway、Replicate 模型;配音支持 OpenAI TTS 与 ElevenLabs;剪辑使用 FFmpeg 完成组装、转场与叠加。脚本包括 generate_video.py(端到端生成)、images_to_video.py(图像序列转视频)、add_voiceover.py(添加旁白)、multi_scene.py(多场景)、edit_video.py(特效、转场、叠加)。
使用方式:先安装依赖 pip install openai requests pillow replicate python-dotenv,并在环境变量或 .env 中配置密钥。密钥按需选择:图像用 OPENAI_API_KEY 或 REPLICATE_API_TOKEN;视频用 LUMAAI_API_KEY、RUNWAY_API_KEY 或 REPLICATE_API_TOKEN;配音用 OPENAI_API_KEY 或 ELEVENLABS_API_KEY。示例命令:python skills/ai-video-gen/generate_video.py --prompt "A sunset over mountains" --output sunset.mp4;python skills/ai-video-gen/images_to_video.py --images img1.png img2.png --output result.mp4;python skills/ai-video-gen/add_voiceover.py --video input.mp4 --text "Your narration" --output final.mp4。也支持多场景与指定时长、帧率、旁白等参数。
适用场景:文本转视频、多场景短片、图像序列动画、为现有视频配音。
限制:需自备并配置对应平台 API 密钥,否则无法调用付费服务;部分能力依赖外部平台与网络;FFmpeg 需可用。资料给出参考费用:DALL-E 3 约每图 $0.04-0.08,Replicate 约每次 $0.01-0.10,LumaAI 每 5 秒 $0-0.50(有免费额度),Runway 约每秒 $0.05,OpenAI TTS 约每千字符 $0.015,ElevenLabs 约每千字符 $0.30。其余细节暂未提供。