SuperAPI AI 工具集

audio-reactive-video-composition

设计与创作

查看项目

更新于 10-16 01:10

技能介绍

用途:把已授权的音频源先做成可审计的提示点图(cue map),再转为有界的视觉行为。核心链路为:源音频→测量特征→带置信度的提示点→经复核的锚点→确定性视觉时间线。不要将检测器输出等同于编辑含义:起音不等于节拍、剪切或歌词重音,声学聚类不等于主歌/副歌。

主要能力:管理源文件保管、分析策略、置信度解释、节奏性/非节奏性路由、提示点提升、特征到视觉的映射、有理数帧对齐、无障碍与渲染质检。不负责音乐视频叙事或艺人品牌、音乐生成、母带、源分离、转写、歌词创作,也不绑定特定 HyperFrames/Remotion/FFmpeg 实现。

必要用法:分析前冻结音频契约,记录源路径/URI、SHA-256、授权依据与限制、流与编解码、原生采样率、声道、解码器版本、规范 PCM 格式、分析采样率、窗/跳、分析器版本与阈值、修剪偏移、主输出帧率(有理数)等。优先以采样索引为主分析时钟。提示点需含 id、类型、采样时间、秒、值、单位、分析器、置信度及其语义、profile 哈希、状态、编辑角色与理由;区间特征需含精确结束时间,保留被拒候选而非删除证据。路由分三种:节奏性(本地速度稳定且节拍/起音一致时)、混合置信(仅在可靠窗口用节奏,失败区间不外推网格)、非节奏性(语速自由、环境、口语、稀疏录音时用已复核短语、静音、能量轮廓与人工锚点)。映射时每个特征只承担有限视觉职责,用稳健统计归一化、做平滑与迟滞、参数钳制,为缺失值定义中性行为;用宏段锚点、中句锚点与稀疏重音,低能量段留白;歌词与重要唱句避免竞争性剪切与叠加;不同宽高比共用同一提示点图,只重排布局不改时间。

帧对齐:保持 30000/1001 等有理数精确帧率,为每个提示点定义取整策略;保守策略将其分配给呈现时间不早于音频事件的首帧:f = ceil(t_event × fps_num / fps_den),同时记录事件原始时间与映射帧,编码后校验实际呈现时间戳。

字幕与安全:转写/歌词时间视为独立证据流,不得用音高有声性做歌声检测;人名、歌词、行边界与时间需人工复核后才能控制排版。预录含有效言语的同步媒体需准确字幕,含必要的非言语声音;风格化歌词层不自动替代可访问字幕。WCAG 2.2 SC 2.3.1 限制每秒闪烁不超过三次(除非低于通用/红色闪光阈值),需在循环与最大预期尺寸下测试;大位移、缩放、抖动或密集响应时提供低动态版本(降低事件密度与位移而非仅降帧率)。音乐作品、歌词与录音可能各有独立权利,持有文件不等于获得同步、改编或分发权。

质检:同输入配置重跑并比较提示点图哈希;试听候选与提升锚点;检查速度歧义与置信失败窗口;比对源时间与解码/修剪后主文件及非零时间戳;检查每个宏锚点前、中、后帧;验证各宽高比变体共享提示点 ID 与帧分配;探测输出帧 PTS、时长与音频同步;复核字幕/歌词、低动态与闪光安全;保存源哈希、profile、提示点图、映射表、渲染版本与审批记录。分析算法与默认值易变,相关事实于 2026-07-12 核验,务必固定解码器、库、模型、参数与随机种子。示例包括恒定速度电子可视化(30 秒、9:16 与 16:9、30 fps)与自由速度口语诗(75 秒、24 fps)两种做法,均为示例而非法定公式。