SuperAPI AI 工具集

audio-to-midi

通用与其它

查看项目

更新于 11-11 08:37

技能介绍

audio-to-midi 是一个面向本地音频转 MIDI 的技能说明,核心主张是:三个模型各有不同的失败方向,应按素材类型选择,而不是按“哪个更好”。

一、用途与三个模型 技能中对比了 MuScriptor medium、Basic Pitch、SwiftF0 三者的能力差异:

  • MuScriptor:可处理完整混音、多乐器,按乐器输出带标签的 MIDI 轨并加 GM 鼓(36 底鼓 / 38 军鼓 / 39 拍手 / 42 踩镲),能检测速度与调性,但所有音符力度固定为 100;代码 MIT、权重 CC BY-NC 4.0;3:12 音频约 52 秒。
  • Basic Pitch:单轨复音,仅音高,无鼓、速度占位 120 BPM,但力度为真实值(30 档,36–72);Apache-2.0;同样素材约 35 秒。
  • SwiftF0:只跟随一条线(最响的那条),输出每帧音高与置信度,无鼓、无速度/调性,速度约 1 秒(约 190 倍实时);CC-BY-4.0(lars76),由作者转换。

二、选型建议

  • 乐队、完整曲目、含鼓 → MuScriptor,唯一能分离乐器并对准网格的模型。
  • 要用于产品发布 → Basic Pitch,因 MuScriptor 的 NC 权重限制商用;但为自家影片转写自家录音属于许可证允许的情形。
  • 单一旋律(人声、长笛、独奏)→ SwiftF0,不猜和弦、跟随线条,且快两个数量级。

三、使用方式(命令示例) MuScriptor 需要 HuggingFace token,权重受限:

  • export HF_TOKEN=hf_...
  • uvx muscriptor transcribe mix.wav --output out.mid --detect-tempo best-effort
  • uvx muscriptor transcribe mix.wav --format sheets --output score/(生成 MusicXML、PDF、谱表)
  • uvx muscriptor list-instruments
  • uvx muscriptor serve(本地 Web UI) Basic Pitch:
  • mkdir -p bp_out
  • uvx --python 3.11 --with "setuptools<81" --from basic-pitch basic-pitch bp_out mix.wav SwiftF0:
  • python3 scripts/pitch_line.py solo.wav --notes(带时间的音符)
  • python3 scripts/pitch_line.py solo.wav --theme(输出 --chords 字符串)
  • python3 scripts/midi_theme.py out.mid --windows 8(从任意 MIDI 生成同样结构)

四、四个已知陷阱

  • --output 需要文件而非目录,目录形式只属于 --format sheets。
  • HF 许可按模型大小分别接受,接受 medium 不会解锁 small 与 large(会 403)。
  • Basic Pitch 需要 setuptools<81,否则 resampy 导入 pkg_resources 报错;需固定版本而非简单 --with setuptools。
  • Basic Pitch 不创建输出目录,需先 mkdir -p。

五、性能与精度实测 在 M5 / 32 GB 上对同样 40 秒片段:MPS fp16 默认 24.1 秒(0.60×实时),CPU fp16 66.5 秒,CPU fp32 63.1 秒;MPS fp16 加 -b 8 --no-prelude-forcing 为 6.6 秒,但会破坏声部(踩镲丢失约 7%,主音从 206 个音符降到 84)。GPU 非必需,CPU 约慢 2.8 倍。small 103M(CPU)、medium 307M(默认)、large 1.4B(官方文档要求 GPU,此处未测试)。 对手工拆解的 Gesaffelstein “Hate or Glory” 40 秒:速度 102.994 对 102.985 BPM,调性 G 小调一致,底鼓 51 拍连续、无遗漏,中位偏移 −1.2 ms、最大 19.4 ms。但三点不可信:力度全为 100;时值不保留延音(贝斯被切碎);乐器名是猜测(合成器主音被标为 prog=29 失真电吉他)。官方 onset F1 为 60.4,节奏松散的素材会更差;rubato 与氛围类素材不建议转写。

六、校验

  • uvx --with mido python scripts/midinspect.py out.mid:打印每轨音符数、音域、音级直方图、时值中位数。
  • uvx --with mido python scripts/gridcheck.py out.mid drums 36:检查起音是否落在拍网格,给出毫秒偏差和漏拍;空结果退出码 2 并说明未测到内容。 先跑 440 Hz 正弦波做对照,已知答案验证工具本身正常,再处理真实素材。

七、限制与未验证项 资料中给出的限制包括:模型许可证差异(NC 权重不可商用)、部分参数(如 large)未测试、rubato 与氛围素材效果差。另有报告但未在本仓库验证的工具:NeuralNote(Apache-2.0,Basic Pitch 的 VST3/AU 封装)、MT3(Google,多乐器,JAX/T5X,运行不便),以及 Mirelo 托管版 Audio-to-MIDI Pro(同源、闭源模型更准、提供 API)。