SuperAPI AI 工具集

music-to-video

设计与创作

查看项目

更新于 10-16 03:12

技能介绍

用途:把一条音乐曲目转成节拍同步的视频(歌词视频、幻灯片等),输入为音乐加可选的用户图片或视频,没有旁白,也不做网页抓取。排版与模板是保底方案,完全无素材也能成片;用户提供的媒体按同一节拍网格切入。

主要能力:用 analyze-beatgrid.py 做唯一权威的节拍分析,产出 audiomap.json(能量段、onset、rolls、静音、hard_stops、关键节点、乐句、速度网格、时长);按真实音乐变化把曲目切成约 1–6 帧,生成 STORYBOARD.md;为每帧的组选模板或自由合成,写文案并绑定锚点;每帧派发一个 frame-worker 子智能体生成 compositions/frames/NN-*.html;最后装配为 index.html 并渲染 MP4。

使用方式:先执 npx hyperframes skills update music-to-video 更新技能。项目目录为 videos/<project>/,流程为:Step 0 初始化项目与素材(音乐放到 assets/bgm.mp3);Step 1 分析音乐;Step 2 生成帧骨架;Step 3 填写方案(需用户批准);Step 4 逐帧构建;Step 5 装配;Step 6 校验并渲染。关键命令包括 npx hyperframes init "videos/<project>" --non-interactive --example=blank、python3 <SKILL_DIR>/scripts/analyze-beatgrid.py "$PROJECT_DIR/assets/bgm.mp3" -o "$PROJECT_DIR/audiomap.json" --print、node <SKILL_DIR>/scripts/validate-plan.mjs、node <SKILL_DIR>/scripts/assemble-index.mjs、npx hyperframes check . --snapshots、npx hyperframes render . --skill=music-to-video -q draft -o renders/video.mp4 --fps 30。分析前需 Python 3 及 librosa、numpy、soundfile,可用 python3 -m pip install librosa numpy soundfile 安装。

适用场景:快节奏、高能量背景音乐(强节拍网格驱动剪辑);平缓音乐也可用,但按乐句而非节拍推进。支持横屏 1920x1080、竖屏 1080x1920、方形 1080x1080。

限制:只有 analyze-beatgrid.py 一个节拍分析器,不得用其他工具或听感重新测量节拍;bpm 与 beats_sec 仅在音乐真正有节奏时可靠;首次认证操作前需运行 npx hyperframes auth status,不得把密钥写入仓库 .env;frame-worker 不运行 hyperframes CLI;不应为掩盖同步问题而改时长或音频时序。其余细节资料未提供。