知一知 · 今日
← 返回本期日报

社媒话题

Dettato 音频转 MIDI 模型以2000万参数实现更高效率

本期日期 2026-11-21 · 08:00 北京时间

开发者发布开源音频转 MIDI 模型 Dettato,称其参数约2000万,比 MuScriptor 1.3B 小约65倍,并在公布基准上超过该开源模型、略高于闭源 Mirelo A2M v1.1 Pro。训练未使用受版权保护录音,输出可商用。

据发布者介绍,Dettato 是一个音频转 MIDI 转录模型,参数规模约2000万,相较 MuScriptor 1.3B 约小65倍。发布者称,在已公布基准上,Dettato 明显优于 MuScriptor 1.3B,分数也略高于 Mirelo 的闭源模型 Mirelo A2M v1.1 Pro。

发布者同时提醒,基准不能替代用户在自身场景中的测试。Dettato 在正确分离乐器方面表现较差,输出的是节拍对齐的表演 MIDI;如果用户需要可直接演奏的乐谱,发布者建议使用 Songscription 或 Klangio 等工具。

训练数据方面,Dettato 使用合成乐器录音、通过 URMP 数据集混合的 Creative Commons 独奏乐器,以及约20个 soundfont 经发布者所称“soundfont babies”技术融合出的其他乐器音色。发布者强调训练中没有使用受版权保护的录音,模型开源且输出可用于商业目的。

作者称约10个月前开始该项目,在4月推翻原有方案。他最初把自动音乐转录当作数据问题,后来判断瓶颈在架构;其思路是把音频音乐转录重构为局部问题,使用 pitch-lane 模型,而不是依赖容易对合成数据过拟合的大型 LLM 组件。

原文来源

Hacker News ↗
返回本期日报打开交互阅读页