MIDI2IMG

Mathi Gatti (AR)
Data scientist y músico. Participa en CLiC, el Colectivo de Live Coders. Trabaja desarrollando sintetizadores de voz, investigando sobre neurociencia y programando de manera freelance. https://www.instagram.com/mathigatti/
 
Mel Izanami (AR)
Licenciado en Artes Visuales con una especialidad en Animación, director del estudio de animación, arte multimedia e interactivo Moviendo Monos, actualmente se especializa en desarrollar proyectos de animación y videomapping. https://www.instagram.com/moviendomonos
 
 
Descripción del proyecto
La idea del proyecto es poder convertir partituras de canciones representadas en formato MIDI en imágenes. Al mismo tiempo también luego poder convertir la imagen de vuelta en un archivo MIDI. 
(Premeditadamente se decidió trabajar con imágenes capturas de autómatas celulares por la naturaleza de contraste cromático que estos presentan)
 
Al generar una señal midi con dichas imágenes, esta señal es vaciada en softwares de procesamiento de audio y de imagen brindándole a esta un sonido específico y a su vez convirtiéndola en parámetros de modificación y edición en tiempo real sobre imágenes previamente cargadas que a su vez las mismas que se usaron para generar las señales midi.
Una vez realizada esta tarea intentamos aprovechar este puente entre lo visual y sonoro para crear una performance artística donde las imágenes y la música se retroalimentan.
 
¿Qué problemática busca resolver?
Crear un puente entre las visuales y la música y experimentar con las posibles aplicaciones del mismo.
 
¿A quién ayuda?
Es útil para generar datasets grandes de música representada con imágenes las cuales luego se pueden utilizar para realizar estudios, análisis e incluso entrenar modelos que generen nuevas piezas musicales a partir de dichas imágenes.
 
También es útil para como herramienta de visualización de la música y para experimentar con el sonido inherente de distintas figuras y patrones.
 
¿Cómo lo hace?
A través de github cualquiera tiene acceso a la herramienta la cual está documentada y funciona en cualquier sistema operativo.
Por medio del mapeo de la señal midi en softwares de procesamiento de audio e imagen
 
Posibles aplicaciones y mejoras
Explorar las posibilidad de otros puentes de comunicación como procesamientos de imagen open cv o mensajes de comunicación osc 
 
Utilizar la representación gráfica de varios MIDIs para entrenar un modelo de inteligencia artificial para que aprenda a generar nuevas canciones 
 
➤ Galería de fotos y videos
Video demostrativo: https://youtu.be/YJ-TEpLwuns

 

×

Subscribe to newsletter

Mutek Mexico mailing list
* indicates required
*
Mutek Spain mailing list