Procesamiento multimodal de señales en la interpretación de música

Abstract

En el presente proyecto se propone un enfoque multimodal para la transcripción de la música de percusión a partir de grabaciones de audio y video. Se utilizaron varias técnicas de procesamiento de señales de manera de derivar información útil de cada uno de los modos. Esto incluyó la detección automática de ciertos objetos de interés en el video y la determinación del instante en el que ocurre un golpe en el audio. Para el desarrollo del sistema multimodal se resolvió utilizar el enfoque de Feature-Level Fusion, en el cual la integración de la información proveniente de cada modo se realiza a nivel de características. Una vez fusionada la información de los distintos modos, se utilizaron técnicas de reconocimiento de patrones para diseñar un sistema de clasificación multimodal. Se realizaron pruebas usando cada modo por separado para evaluar las ventajas de usar un enfoque mutlimodal respecto a utilizar un único modo. Dichos experimentos reflejan que este enfoque es capaz de mejorar el desempeño alcanzado con cada fuente de informacióon por separado, mostrando las ventajas del método propuesto.