Al examinar la actividad cerebral de una persona, la inteligencia artificial (IA) puede producir una canción que se ajuste al género, ritmo, estado de ánimo e instrumentación de la música que el individuo escuchó recientemente.

Anteriormente, los científicos habían "reconstruido" otros sonidos a partir de la actividad cerebral, como el habla humana, el canto de los pájaros y los relinchos de los caballos. Sin embargo, pocos estudios han intentado recrear música a partir de señales cerebrales.

Ahora, los investigadores han desarrollado un pipeline basado en IA llamado Brain2Music, que aprovecha los datos de imágenes cerebrales para generar música que se parece a fragmentos cortos de canciones que una persona estaba escuchando cuando se escaneaba su cerebro. Describieron el pipeline en un artículo publicado el 20 de julio en la base de datos de preimpresiones arXiv, que aún no ha sido revisado por pares.

Los científicos utilizaron escaneos cerebrales que se habían recopilado previamente mediante una técnica llamada resonancia magnética funcional (fMRI), que sigue el flujo de sangre rica en oxígeno hacia el cerebro para ver qué regiones están más activas. Los escaneos se obtuvieron de cinco participantes mientras escuchaban clips de música de 15 segundos que abarcaban diferentes géneros, incluyendo blues, clásica, country, disco, hip-hop, jazz y pop.

Relacionado: La lesión en la cabeza de un músico desencadenó una sinestesia rara, que le permitía "ver" la música

Utilizando una parte de los datos de imágenes cerebrales y clips de canciones, los investigadores entrenaron primero a un programa de IA para encontrar vínculos entre características de la música, como los instrumentos utilizados y su género, ritmo y estado de ánimo, y las señales cerebrales de los participantes. El estado de ánimo de la música fue definido por los investigadores utilizando etiquetas como feliz, triste, tierno, emocionante, enfadado o aterrador.

La IA fue personalizada para cada persona, estableciendo vínculos entre los patrones únicos de actividad cerebral y diferentes elementos musicales.

Después de ser entrenada con una selección de datos, la IA pudo convertir los datos de imágenes cerebrales restantes, previamente no vistos, en una forma que representaba los elementos musicales de los clips de canciones originales. Luego, los investigadores introdujeron esta información en otro modelo de IA desarrollado previamente por Google, llamado MusicLM. MusicLM fue originalmente desarrollado para generar música a partir de descripciones de texto, como "una melodía calmante de violín respaldada por un rifeo de guitarra distorsionada".

MusicLM utilizó la información para generar fragmentos musicales que se pueden escuchar en línea y que se asemejaban bastante a los fragmentos de canciones originales, aunque la IA capturó algunas características de las melodías originales mucho mejor que otras.

"El acuerdo en términos del estado de ánimo de la música reconstruida y de la música original fue del 60%", dijo el coautor del estudio, Timo Denk, ingeniero de software de Google en Suiza, a Live Science. El género e instrumentación en la música reconstruida y original coincidieron significativamente más veces de las esperadas al azar. De todos los géneros, la IA pudo distinguir con mayor precisión la música clásica.

"El método es bastante robusto en los cinco sujetos que evaluamos", dijo Denk. "Si tomas a una persona nueva y entrenas un modelo para ella, es probable que también funcione bien".

En última instancia, el objetivo de este trabajo es arrojar luz sobre cómo el cerebro procesa la música, dijo el coautor Yu Takagi, profesor asistente de neurociencia computacional e IA en la Universidad de Osaka en Japón.

Como se esperaba, el equipo encontró que escuchar música activa regiones cerebrales en la corteza auditiva primaria, donde las señales de los oídos se interpretan como sonidos. Según Takagi, otra región del cerebro llamada corteza prefrontal lateral parece ser importante para procesar el significado de las canciones, pero esto debe confirmarse mediante investigaciones adicionales. Esta región del cerebro también se sabe que está involucrada en la planificación y resolución de problemas.

Curiosamente, un estudio anterior encontró que la actividad de diferentes partes de la corteza prefrontal experimenta cambios drásticos cuando los raperos improvisan freestyle.

Takagi agregó que estudios futuros podrían explorar cómo el cerebro procesa la música de diferentes géneros o estados de ánimo. El equipo también espera explorar si la inteligencia artificial puede reconstruir música que las personas solo imaginan en sus mentes, en lugar de escucharla realmente.

Manténgase actualizado sobre las últimas noticias científicas suscribiéndose a nuestro boletín Essentials.