Conversaciones
El modelo de audio a MIDI Dettato logra mayor eficiencia con 20000000 de parámetros
Un desarrollador ha publicado Dettato, un modelo de código abierto para convertir audio en MIDI, que afirma tener unos 20000000 de parámetros, aproximadamente 65 veces menos que MuScriptor 1.3B, superar a ese modelo de código abierto en las referencias publicadas y quedar ligeramente por encima del modelo cerrado Mirelo A2M v1.1 Pro. El entrenamiento no utilizó grabaciones protegidas por derechos de autor y las salidas pueden utilizarse comercialmente.
Según el responsable del lanzamiento, Dettato es un modelo de transcripción de audio a MIDI con un tamaño de aproximadamente 20000000 de parámetros, unas 65 veces menos que MuScriptor 1.3B. El publicador afirma que, en las referencias publicadas, Dettato es claramente superior a MuScriptor 1.3B y su puntuación también es ligeramente superior a la del modelo cerrado de Mirelo, Mirelo A2M v1.1 Pro.
El publicador también recuerda que las referencias no sustituyen las pruebas del usuario en su propio escenario. Dettato tiene un rendimiento más débil a la hora de separar correctamente los instrumentos y produce un MIDI de interpretación alineado al ritmo; si el usuario necesita una partitura que pueda tocarse directamente, recomienda utilizar herramientas como Songscription o Klangio.
En cuanto a los datos de entrenamiento, Dettato utilizó grabaciones de instrumentos sintéticos, instrumentos solistas con licencia Creative Commons mezclados a través del conjunto de datos URMP, y otros timbres de instrumentos fusionados a partir de unos 20 soundfonts mediante la técnica que el publicador denomina «soundfont babies». El publicador subraya que en el entrenamiento no se utilizaron grabaciones protegidas por derechos de autor, que el modelo es de código abierto y que sus salidas pueden utilizarse con fines comerciales.
El autor afirma que comenzó el proyecto hace unos 10 meses y que en abril descartó el enfoque original. Al principio consideraba la transcripción musical automática como un problema de datos, pero después concluyó que el cuello de botella estaba en la arquitectura; su idea consiste en reformular la transcripción de música en audio como un problema local y utilizar un modelo pitch-lane, en lugar de depender de grandes componentes LLM que tienden a sobreajustarse fácilmente a los datos sintéticos.