Creating a creator: a methodology for music data analysis, feature visualization, and automatic music composition

Abstract

La generación algorítmica de música recientemente se ha convertido en área de proyectos de investigación prestigiosos como Magenta de Google, el laboratorio en Paris de Sony CSL y Aiva en Luxemburgo, el cual empuja las barreras en generación automática de música. La generación musical por computadora es el proceso de componer música a través de un enfoque algorítmico o con el uso de inteligencia artificial. En las industrias de cine y videojuegos se encuentran las llamadas startups o compañías emergentes podrían competir con las más grandes basándose en métodos generativos para ayudarles a incrementar la productividad y depender únicamente de la creatividad. Hoy en día, los métodos generativos de piezas musicales han sido probados con métodos de aprendizaje de máquina como redes recurrentes o métodos Markovianos con diferentes resultados. Un problema específico con las redes recurrentes es el tiempo que toma entrenar el modelo con un subconjunto de datos. Otro problema con métodos supervisados es la ausencia de datos suficientes etiquetados con las características musicales. Adicionalmente, no hay métricas o ejemplos suficientes de las diferentes características de música como melodía, armonía y ritmo, así como no hay métricas que reflejen la percepción musical. En esta investigación, presentamos una metodología simple y eficiente para analizar y probar características armónicas de música utilizando diferentes métricas cualitativas. Notablemente, el enfoque propuesto normaliza los datos que se encuentran en archivos MIDI en vectores descriptores de 12 dimensiones extraídos de la tonalidad y utilizados para reducción de dimensionalidad y visualización de los datos musicales extraídos proyectados en vectores de tres dimensiones. Esta proyección se logra mediante ventanas deslizantes no traslapadas a través de la composición, las características armónicas se encuentran en la pieza musical y la proyección tridimensional crea un perfil cuantitativo de la composición, el cual esta correlacionado con similitudes de tono en la pieza. Otra contribución consiste en el diseño de una metodología para extraer el ritmo y armonía de una pieza musical y realizar una recombinación de estas características. Las extracciones se llevan a cabo a través de una compresión algorítmica para encontrar los descriptores que pueden codificar el desarrollo de la pieza musical. Como las piezas musicales no poseen la misma longitud y así como las canciones son de duraciones diferentes, se propone el proceso de acoplamiento de los descriptores armónicas al ritmo extraído de los archivos MIDI. Este acoplamiento se logra utilizando un algoritmo genético para aprovechar las ventajas de la inteligencia artificial in la generación automática de música. Finalmente, se propone una técnica novedosa de generación de composiciones musicales por reemplazo de los descriptores armónicos de un archivo MIDI con una armonía generada por el algoritmo genético y combinándola con el ritmo de otra composición haciendo un ajuste para generar una nueva pieza musical. Todas las propuestas fueron probadas, evaluadas y comparadas con prototipos existentes asegurando la alta calidad y eficiencia durante la extracción de características, análisis, visualización y generación automática de composiciones musicales polifónicos y poli-instrumentales.