Nvidia presenta el modelo Fugatto AI que “comprende y genera sonido como lo hacen los humanos”

Nvidia ha presentado un nuevo modelo experimental de IA generativa que la compañía describe como “La navaja suiza para el sonido”. El modelo Fugatto (Fundational Generative Audio Transformer Opus 1) utiliza mensajes de texto para generar archivos de música, voz y audio nuevos o modificar los existentes. Desarrolladores de todo el mundo participaron en la creación del modelo, lo que fortaleció “Capacidades multiacento y multilingüe del modelo”.

“Queríamos crear un modelo que comprenda y genere sonido como lo hacen los humanos”.dijo el participante del proyecto y gerente de investigación de audio aplicado en Nvidia Rafael Valle. La compañía ha propuesto varios escenarios en los que el modelo Fugatto puede tener demanda:

• Los productores musicales pueden crear rápidamente un prototipo de canción que se puede editar fácilmente probando diferentes estilos, voces e instrumentos.
• Fugatto se puede utilizar para crear herramientas de aprendizaje de idiomas con la elección de la voz más adecuada.
• Los desarrolladores de videojuegos pueden usarlo para crear variaciones de recursos pregrabados para que coincidan con los cambios en el juego según las elecciones y acciones de los jugadores.

Los investigadores afirman que el modelo, con algunos ajustes adicionales, también puede realizar tareas que no formaban parte de su entrenamiento previo. El modelo puede combinar instrucciones separadas, por ejemplo, generar un habla con cierta entonación y acento, o el sonido de los pájaros cantando durante una tormenta. El modelo también puede generar sonidos que cambian con el tiempo, como el sonido de una tormenta que se acerca o un tren que sale.

Fugatto no es la primera tecnología de inteligencia artificial generativa que puede crear sonidos a partir de indicaciones de texto. Anteriormente meta✴ liberado modelo similar IA de código abierto. Google ofrece una herramienta de inteligencia artificial patentada para convertir texto en música MúsicaLMal que se puede acceder a través del sitio web de AI Test Kitchen.

Nvidia aún no ha proporcionado acceso público a Fugatto y se ha abstenido de comentar sobre este asunto.