用途:整理使用主流 AI 视频工具生成视频的模式与最佳实践,适合需要从文本提示生成视频、做图生视频转换,或批量产出素材的工程场景。
平台概览:资料按类型与特点列出 Sora(文生视频,写实、长时)、Runway Gen-3(文/图生视频,速度快、运动好)、Pika Labs(文/图生视频,风格化、易用)、Kling AI(文生视频,长时长、写实)、Luma Dream Machine(文/图生视频,运动连贯)、Stable Video Diffusion(图生视频,开源)。
主要能力与用法:提供 Runway API 集成模式,包括 GenerationRequest、GenerationResult 数据结构,RunwayClient 的 generate_video、get_generation、wait_for_completion、generate_and_wait 方法,base_url 为 https://api.runwayml.com/v1,模型示例 gen3a_turbo,支持 imageUrl 与 text-to-video / image-to-video 模式。Pika 集成示例给出 text_to_video 与 image_to_video 调用结构,base_url 为 https://api.pika.art/v1,支持 negative_prompt、style、duration、fps、motion_strength。本地可用 diffusers 的 StableVideoDiffusionPipeline 加载 stabilityai/stable-video-diffusion-img2vid-xt,生成帧后以 export_to_video 保存。
提示词工程:VideoPrompt 结构涵盖 subject、action、setting、style、camera、lighting、mood,并提供镜头运动、风格、光照等常用词库,以及电影感、产品展示、自然风景三类提示词构造方法。
批量与增强:BatchGenerator 用 asyncio.Semaphore 控制并发,BatchJob 记录状态与结果。VideoEnhancer 通过命令行调用 realesrgan-ncnn-vulkan 放大、ffmpeg 的 minterpolate 补帧、unsharp/hqdn3d 去伪影、并支持添加音轨。StoryboardRenderer 可按分镜逐场景生成、下载并用 ffmpeg concat 拼接。
限制:资料未说明各平台收费、价格、配额、速率限制或稳定性;部分示例标注“当 API 可用时”;本地生成需要 GPU 与对应依赖,效果与可用性以实际平台为准。