ai-video-gen 是一个面向“从文本到成片”的端到端 AI 视频生成技能,目标是把图像生成、视频合成、配音与剪辑串成一条可脚本化调用的流水线。
用途 它适用于希望用文本描述直接生成视频的场景,也支持分步使用:仅生成图像再合成视频,或为已有视频添加旁白,或批量生成多场景视频并进行后期处理。
主要能力 图像生成支持 DALL-E 3、Stable Diffusion、Flux;视频生成支持 LumaAI、Runway、Replicate 模型;配音支持 OpenAI TTS、ElevenLabs;视频剪辑基于 FFmpeg,可完成拼接、转场与叠加。
脚本参考
- generate_video.py:主端到端生成器
- images_to_video.py:将图片序列转换为视频
- add_voiceover.py:为已有视频添加旁白
- multi_scene.py:创建多场景视频
- edit_video.py:应用特效、转场、叠加
快速开始示例 生成完整视频: python skills/ai-video-gen/generate_video.py --prompt "A sunset over mountains" --output sunset.mp4
仅将图片转为视频: python skills/ai-video-gen/images_to_video.py --images img1.png img2.png --output result.mp4
添加旁白: python skills/ai-video-gen/add_voiceover.py --video input.mp4 --text "Your narration" --output final.mp4
用法示例
-
文本到视频(完整流水线): python skills/ai-video-gen/generate_video.py --prompt "A futuristic city at night with flying cars" --duration 5 --voiceover "Welcome to the future" --output future_city.mp4
-
多场景: python skills/ai-video-gen/multi_scene.py --scenes "Morning sunrise" "Busy city street" "Peaceful night" --duration 3 --output day_in_life.mp4
-
图像序列转视频: python skills/ai-video-gen/images_to_video.py --images frame1.png frame2.png frame3.png --fps 24 --output animation.mp4
设置 所需 API Key(添加到环境变量或 .env 文件): 图像生成(任选其一): OPENAI_API_KEY=sk-...(DALL-E 3) REPLICATE_API_TOKEN=r8_...(Stable Diffusion、Flux)
视频生成(任选其一): LUMAAI_API_KEY=luma_...(LumaAI Dream Machine) RUNWAY_API_KEY=...(Runway ML) REPLICATE_API_TOKEN=r8_...(多个模型)
语音(可选): OPENAI_API_KEY=sk-...(OpenAI TTS) ELEVENLABS_API_KEY=...(ElevenLabs)
也可使用免费的本地选项(无需 API)。
依赖安装: pip install openai requests pillow replicate python-dotenv FFmpeg 已通过 winget 安装(按原文说明)。
工作流选项 预算模式(免费):图像使用 Stable Diffusion(本地或免费 API),视频使用开源模型,语音使用 OpenAI TTS(便宜)或免费 TTS,剪辑使用 FFmpeg。 质量模式(付费):图像使用 DALL-E 3 或 Midjourney,视频使用 Runway Gen-3 或 LumaAI,语音使用 ElevenLabs,剪辑使用 FFmpeg 加特效。
API 成本估算 DALL-E 3:约 $0.04-0.08 每张图像 Replicate:约 $0.01-0.10 每次生成 LumaAI:$0-0.50 每 5 秒(有免费额度) Runway:约 $0.05 每秒 OpenAI TTS:约 $0.015 每 1K 字符 ElevenLabs:约 $0.30 每 1K 字符(质量更好)
示例 参见 examples/ 文件夹中的示例输出与提示词。
限制 资料中未提供关于平台兼容性、运行时长上限、并发能力、分辨率上限等更多细节,暂未提供。部分能力依赖第三方 API 及其可用性与计费,实际费用以各服务方为准。