SuperAPI AI 工具集

ltx23-comfyui-ti2v-audio

智能体与模型

查看项目

更新于 10-19 16:17

技能介绍

用途

本技能面向 LTX 2.3 在 ComfyUI 中的文本/图像加音频生成视频工作流,基于 Isi-dev 风格的上游产物。典型任务包括:将上游 App JSON 导入 ComfyUI 并解释其暴露的控制项;在远程 Linux GPU 主机上初始化 ComfyUI 环境与依赖;通过已提交的 API 格式提示词直接排队运行;以及在远程 GPU 上执行真实的生成批次并进行实验记录。

主要参考源

技能内区分三种事实来源:

  • App JSON:sources/upstream/isi-dev/LTX_2.3_Image_or_Text_&_Audio_2_Video_App_V3.json,用于导入或解释 App 控制项。
  • Notebook:sources/upstream/isi-dev/ComfyUI_LTX2_3_TI2V.ipynb,用于远程 GPU 机器/ComfyUI 栈的引导和依赖清单恢复。
  • 已提交 API 提示词:sources/api/ltx23-ti2v-audio-api-prompt.json,用于无需重复 UI 导出步骤、直接通过 ComfyUI /prompt 运行。 上游产物应保持在 sources/upstream/isi-dev/ 下只读。当 notebook 说明与图内部不一致时,以实际 JSON 图的暴露控制为准,并指出不一致之处。

使用方式

优先使用脚本化引导路径:

  • Windows 本地安装启动器:scripts/run-remote-gpu-setup.ps1
  • 本地启动启动器:scripts/run-remote-gpu-start.ps1
  • 远程安装脚本:scripts/setup-remote-ltx23-comfyui.sh
  • 远程启动脚本:scripts/start-remote-comfyui.sh 详细用法见 references/scripted-setup.md。需要溯源或上游对比时见 references/source-materials.md;环境或模型工作前见 references/setup-and-models.md;真实扫描或模型变体对比见 references/experiment-tracking.md;重复此前失败的设置或生成前见 references/operational-lessons.md;修改提示词或生成设置前见 references/usage-and-parameters.md。若新增 Python 辅助脚本,应使用 uv run ... 执行。

远程安装脚本保留以下保护项:LD_LIBRARY_PATH=/usr/lib64-nvidia、PIP_CONFIG_FILE=/dev/null,以及 /content/ComfyUI 与 ~/ComfyUI 之间的可写安装目录解析。安装失败时应定位断点并修补脚本,而非退回临时命令重放。

默认操作流程

  1. 除非用户明确要求手动走 notebook,否则执行脚本化安装路径。
  2. 安装后主动启动 ComfyUI,不假设安装器会保持服务运行。
  3. 校验 ComfyUI 与所需自定义节点已安装。
  4. 在怀疑图之前,先确认模型文件存在于预期目录。
  5. 导入 App V3 JSON。
  6. 准备提示词文本、参考音频,可选参考图像。
  7. 打包的 App V3 默认为音频驱动:上传音频位于活动路径,USE ONLY VOCALS 由 App 暴露。
  8. 文生视频时将 Text To Video (no image ref) 置为 true,但仍保留一张图像可用,因为 notebook 明确提示加载图像有助于避免错误。
  9. 首次冒烟运行保持短时长、中等尺寸和固定种子。
  10. 在宣称工作流可用前,验证生成的 MP4、音频、唇形同步以及实际输出尺寸/时长。

提示词与参数规则

提示词按时间顺序描述动作与声音;不要重复参考图像已固定的细节(除非场景有意改变);不要凭空添加镜头运动;除用户要求说话、唱歌或对话外不要编造对白;若面向内置提示词增强路径,保持为一段简洁英文。

App V3 暴露:提示词、图像、音频、音频起始裁剪、宽、高、长度、文生视频模式、USE ONLY VOCALS、种子以及 Enhanced Prompt 界面;不暴露 App 侧 FPS 控制,也不暴露内部 custom-audio 与 LTX-audio latent 切换。length_seconds 会按 1 + 8 * round(seconds * fps / 8) 转换为帧数,存在内部取整;自定义音频裁剪时长由 frames/fps 推导。宽高建议使用 32 的整数倍,并在生成后核实实际输出尺寸。图中 fps 默认为 24,但不是该 JSON 暴露的 App 输入。USE ONLY VOCALS 适用于参考音频伴奏嘈杂且唇形同步质量优先于完整混音的场景。

音频路径规则

图中只加载一次音频,下游裁剪片段,可选使用 MelBandRoFormer 分离人声,再编码为音频 latent;改编工作流时应保留此模式,不要按片段重复加载音频。图内虽同时存在 custom-audio 与 LTX-audio latent 路径,但打包的 App V3 不暴露 custom-audio 开关;若用户要求使用生成的 LTX 音频而非上传音频,需说明必须编辑工作流。若用户自制 LoRA 引入噪声音频,上游建议使用 KJNodes advanced LTX-2 LoRA loader 并将非视频强度设为 0。

实验记录与验证

真实生成批次应在 experiments/<date>-<slug>/ 下保存提交的清单。提示词、图像、音频或时长固定时记录为顶层固定输入;每次运行记录模型文件、宽高、种子、关键开关(如 USE ONLY VOCALS)、prompt_id、输出文件名与远程路径、媒体时长与大小、GPU 峰值显存、总显存、余量、峰值利用率。比较时一次只变一两个变量。记录生成时间与 GPU 余量应同时进行。输出文件拷回本地后应比对大小与远程原件。

验证分阶段:安装验证确认脚本完成且 torch.cuda.is_available() 为 true;服务验证确认 ComfyUI 已启动且端口开放;静态验证确认 JSON 可导入且自定义节点可解析;资产验证确认图像、音频和模型文件存在;冒烟运行 3-5 秒、中等分辨率、固定种子;输出验证检查视频、音频、唇形同步及参数静默取整。至少完成一次真实生成,或明确标注结果未验证,才能称为“可用”。

适用场景与限制

适用于远程 Linux GPU 主机上的 LTX 2.3 ComfyUI 环境搭建、音频驱动视频生成、模型变体对比与失败复盘。限制在于:具体模型清单、硬件要求、显存需求与生成效果需以实际仓库和运行结果为准,资料未给出这些细节;App 侧不提供 FPS 控制与 custom-audio 切换;参数可能被静默调整,需以实际输出为准。