ltx2

用途

ltx2 用于调用 LTX-2.3 22B DiT 视频生成模型，从文本提示词或输入图片生成视频片段，面向视频制作中的素材生成场景。

主要能力

文本生成视频：根据 --prompt 描述生成视频。
图片生成视频：通过 --input 传入静态图片，为图片添加运动效果。
参数控制：可设置 --width、--height、--num-frames、--fps、--quality、--steps、--seed、--negative-prompt 和 --output。
质量模式：standard 为 30 步，fast 为 15 步。
可复现输出：通过 --seed 固定随机种子。

使用方式

基本命令：

python3 tools/ltx2.py --prompt "A sunset over the ocean, golden light on waves, cinematic" --output sunset.mp4

图片动画化：

python3 tools/ltx2.py --prompt "Gentle camera drift, soft ambient motion" --input photo.jpg --output animated.mp4

自定义分辨率与时长：

python3 tools/ltx2.py --prompt "..." --width 1024 --height 576 --num-frames 161 --output wide.mp4

快速模式：

python3 tools/ltx2.py --prompt "..." --quality fast --output quick.mp4

固定随机种子：

python3 tools/ltx2.py --prompt "..." --seed 42 --output reproducible.mp4

参数要点

--prompt 必填，用于描述视频内容。
默认分辨率 768x512，宽高需能被 64 整除。
默认帧数 121，帧数需满足 (n-1) % 8 == 0。
常用帧数包括 25、49、73、97、121、161、193。
默认帧率 24 fps。
--quality 可选 standard 或 fast。
--steps 可直接覆盖推理步数。
--negative-prompt 默认已包含常见的质量与水印规避项。

提示词建议

资料建议从镜头、光线、运动、风格等维度描述，并保持提示词在 200 词以内。示例包括航拍海洋、机械键盘特写、抽象科技背景、人像微动和幻灯片微动。应避免过于笼统、多个冲突创意，以及要求模型渲染可读文字或 UI。

适用场景

生成用于转场的约 5 秒 B-roll 空镜。
为幻灯片截图添加轻微动态效果。
为静态头像添加自然微动。
生成品牌片头或片尾的抽象动态背景。
与其他工具组合：生成片段后放大、放入 Remotion 合成、从图片生成再动画化、提取音频或混合配音。

技术信息

模型：LTX-2.3 22B DiT（Lightricks），bf16。
GPU：Modal 上的 A100-80GB，约 $4.68/小时。
推理：768x512、121 帧、30 步约 2.5 分钟每条。
成本：约 $0.20-0.25 每 5 秒片段。
冷启动：约 60-90 秒，加载约 55GB 权重。
输出：H.264 MP4，含同步环境音频，24fps。
单段最长约 8 秒，即 193 帧。

限制

训练数据残留：约 30% 的生成结果可能带有不需要的标识或文字，可更换 --seed 重试。
无法可靠生成可读文字，建议改用 Remotion 叠加。
单段最长约 8 秒，更长内容需要拼接。
生成音频仅为环境音，语音和音乐需使用其他工具。
许可证为 Community License：收入低于 1000 万美元可免费使用，超过需商业许可。

部署准备

# 1. 创建 Modal 的 HuggingFace 密钥（一次性）
modal secret create huggingface-token HF_TOKEN=hf_your_token

# 2. 部署（下载约 55GB 权重，约 10 分钟）
modal deploy docker/modal-ltx2/app.py

# 3. 将端点 URL 写入 .env
echo "MODAL_LTX2_ENDPOINT_URL=https://yourname--video-toolkit-ltx2-ltx2-generate.modal.run" >> .env

# 4. 测试
python3 tools/ltx2.py --prompt "A candle flickering on a dark table, cinematic" --output test.mp4