SuperAPI AI 工具集

hyperframes-music-to-video

设计与创作

查看项目

更新于 10-16 08:09

技能介绍

用途:将一首音乐转化为节拍同步的 HyperFrames 视频。输入为音乐轨加可选的用户图片或视频,没有旁白,也不做网页抓取;排版与模板是基础,用户提供的素材会按同一节拍网格剪辑。

主要能力:先用 analyze-beatgrid.py 对音乐做一次分析,生成 audiomap.json(能量阶段、onset、rolls、静音、硬停、关键节点、乐句、速度/网格、时长);再把曲目切成若干帧,逐帧填写计划,每帧构建为一个独立合成文件,最后组装并渲染。该技能针对快速高能量 BGM 调优,强节拍网格驱动剪辑;平静曲目也可用,但按乐句而非节拍推进。

使用方式:按步骤执行——Step 0 建立音乐源与项目;Step 1 分析音乐;Step 2 生成 STORYBOARD.md 骨架;Step 3 填写计划(需用户批准);Step 4 每帧派发一个 frame-worker 构建;Step 5 组装 index.html;Step 6 校验并渲染。常用命令包括:npx hyperframes skills update music-to-video、npx hyperframes init "videos/<project>" --non-interactive --example=blank --skill=music-to-video、python3 -m pip install librosa numpy soundfile、python3 <SKILL_DIR>/scripts/analyze-beatgrid.py "$PROJECT_DIR/assets/bgm.mp3" -o "$PROJECT_DIR/audiomap.json" --print、node <SKILL_DIR>/scripts/validate-plan.mjs、node <SKILL_DIR>/scripts/assemble-index.mjs、npx hyperframes check . --snapshots、npx hyperframes render . --skill=music-to-video -q draft -o renders/video.mp4 --fps 30。

适用场景:歌词视频、幻灯片、节拍剪辑类音乐视频;支持横屏 1920x1080、竖屏 1080x1920、方形 1080x1080。

限制:需要 Python 3 及 librosa、numpy、soundfile;bpm 与 beats_sec 仅在音乐真正有节奏时可靠,平静音乐上网格是节拍器强加的,需按乐句与能量推进;Step 3 与 Step 6 为需用户确认的检查点,自主模式下改为发布摘要后继续;渲染前需通过 check 校验。其他细节资料未提供。