Music Intelligence 是一套用于视频剪辑的本地音乐分析与节拍同步工具,隶属于 openchatcut 技能集。它的核心用途是:对媒体池中的音乐素材进行本地分析,并基于分析结果规划、执行与节拍、强拍或段落同步的视频剪切或照片摆放,常见于 BGM 卡点剪辑、节奏剪切等场景。
主要能力
分析方面,调用 analyze_music 可在用户要求分析音乐或不存在缓存时运行本地已安装的 Beat This 与 CLAP 模型,等待完成后返回结果;该工具不会下载模型,仅在用户明确要求重新分析时使用 force:true。若只需读取已有缓存,则调用 inspect_music。
检查方面,inspect_music 返回 BPM、拍号、置信度、标签、段落、计数以及有界的点位列表。列表上限为 48 个节拍、24 个强拍、16 个段落和 12 个标签;当 truncated 为 true 时应使用更窄的范围。analysisRef 被视为不透明引用,用于将后续规划与执行绑定到确切的缓存分析,而不暴露 512 维的 CLAP 嵌入向量。
规划方面,剪切视频前调用 music_edit_plan 并展示其有界的剪切/目标摘要;摆放照片前调用 music_image_plan 并展示其有界的摆放摘要。timing:auto 会按稀疏、中等、密集分别选择 段落→强拍→节拍、强拍→节拍→段落、节拍→强拍→段落的优先级。密度方面,稀疏、中等、密集分别每第四个、第二个、第一个候选点采样。方案上限为 96 个剪切帧和 64 个重叠视频目标。
照片摆放方面,music_image_plan 使用显式列出的图片素材 id 及其给定顺序,省略时按媒体池顺序使用全部图片素材;当音乐范围内的节拍间隔多于图片数量时循环该顺序。每个摆放覆盖从一个选定时间点到下一个时间点的完整区间,包括 BGM 范围边界,因此图片不会按源时长追加,也不会以统一的默认长度摆放。图片摆放上限为 96 个片段和 64 个图片素材。
使用方式
分析是可选且在本设备上进行的。媒体池素材必须已为其当前 sourceRevision 建立缓存。rhythm-lite 提供 Beat This 节奏数据;music-semantics-lite 提供 CLAP 标签和私有相似度向量。Agent 调用绝不能安装模型包、下载模型、解码媒体或启动推理;当缓存不可用时,应引导用户前往设置和媒体卡分析操作。
通过 itemId、assetId 或明确名称识别 BGM。若用户意图编辑,优先使用时间线项目,因为返回的点位会通过片段裁剪和播放速率映射到时间线帧。
只有在方案被接受后,才使用返回的 analysisRef 调用 sync_cuts_to_music 或 sync_images_to_music。每个工具都会重新计算方案,拒绝过期分析,并将改动作为单步撤销应用。执行时传入相同的 itemId、timing、density、range、目标 id 和 analysisRef;执行会基于当前状态重新计算方案,不要重放旧的帧列表。
适用场景与限制
适用于 BGM 卡点剪辑、节奏剪切、照片随音乐节拍摆放等。方案针对与所选 BGM 范围重叠的视频片段,绝不能包含或修改 BGM 项目本身。sync_images_to_music 要求请求范围内存在未锁定且空的目标视频轨道;应选择其他轨道而不是覆盖已有内容。锁定的视频轨道会被跳过并报告,绝不隐式解锁轨道。
若缺少必需的模型包,应报告返回的安装指引(设置路径与缺失包名称),然后询问是继续使用 detect_beats 回退方案进行纯节拍计时(仅 BPM 与节拍帧,不含 CLAP 标签、段落与能量),还是等待用户安装模型包并在安装后重试 analyze_music。
绝不请求、返回、引用、总结或将 CLAP 嵌入放入模型上下文;仅使用标签、段落、置信度和不透明的 analysisRef。
成功的剪切会作为一次 EditorCommands.batch 提交,因此整个节奏编辑是一次撤销步骤。成功的照片摆放同样作为一次 EditorCommands.batch 提交,整个序列是一次撤销步骤。
关于收费、价格、平台支持范围等具体信息,资料中暂未提供。