music-to-video 是一个位于 langchain-ai/design-agent 仓库下的技能,用于将音乐曲目转化为节拍同步的 HyperFrames 视频。它使用音乐作为视频的时间骨架,分析曲目的节拍网格、能量变化、切分点与静音区间,并据此规划视频的帧结构与每帧的内容。
主要用途包括制作歌词视频、幻灯片式视频或其它音乐驱动的动态视频。输入为一首音乐曲目,可选地附加用户提供的图片或视频素材;不包含旁白,也不涉及网站捕获。排版与模板是基础保障,即使没有任何素材也能完成视频;用户提供的媒体会被安排在相同的节拍网格上。
工作流按顺序执行以下步骤:
- 设置:确定音乐来源,创建 HyperFrames 项目,记录用户素材,将曲目放到 assets/bgm.mp3。
- 分析音乐:使用 analyze-beatgrid.py 生成唯一的节拍分析文件 audiomap.json。
- 帧骨架:根据音乐的真实变化将曲目切分为约 1–6 帧,标注每帧的跨度、节奏策略(节拍切割或乐句流动)、情绪与感受。
- 填充计划(用户审批关口):选择品牌预设(字体与配色),为每帧确定分组与呈现方式(模板、自由组合或素材处理),撰写文案,并通过 validate-plan.mjs 验证。
- 构建帧:为每帧分派一个子代理,根据计划生成独立的合成文件 compositions/frames/NN-*.html。
- 组装:通过 assemble-index.mjs 将帧文件和背景音乐组装成 index.html。
- 验证与渲染:运行 npx hyperframes check 进行结构检查与预览,经用户审批后渲染为 MP4。
使用方式为命令行操作,主要依赖 HyperFrames CLI 以及技能自带的脚本。需要 Python 3 环境并安装 librosa、numpy、soundfile 以运行节拍分析。初始化项目使用 npx hyperframes init 命令。技能支持横屏 1920x1080(默认)、竖屏 1080x1920 和方形 1080x1080 画布。
适用场景包括:为已有音乐制作同步视频、从视频中提取音频并重新配画、基于情绪简报生成音乐后再制作视频、添加用户图片或视频的节拍剪辑等。
限制与注意事项:该技能针对节奏感强的音乐优化,对于平静音乐节拍网格可能不可靠,此时应按乐句和能量推进而非硬切节拍。音频分析依赖特定 Python 库。部分步骤需要用户参与审批,自主模式下除渲染审批外可自动推进。未提供具体收费、价格或平台兼容性信息。