En una palabra: Investigadores del Bot Intelligence Group (BIG) de la Universidad Carnegie Mellon (CMU) han desarrollado un brazo robótico que puede pintar imágenes basándose en indicaciones habladas, escritas y visuales. La IA es muy similar a DALL-E, excepto que pinta físicamente la salida en tiempo real en lugar de producir una imagen digital casi instantánea.
El equipo BIG nombró al robot FRIDA como un guiño a la artista mexicana Frida Kahlo y como un acrónimo de Framework and Robotics Initiative for Developing Arts. Actualmente, el robot requiere al menos alguna entrada contextual y alrededor de una hora para preparar su estilo de pinceladas.
Los usuarios también pueden cargar una imagen para “inspirar” a FRIDA e influir en el resultado proporcionando descriptores en un lenguaje sencillo. Por ejemplo, dada una foto del busto de Elon Musk y el mensaje hablado “sollozos de bebé”, la IA creó el retrato a continuación (arriba a la izquierda). Los investigadores han experimentado con otros tipos de entrada, como dejar que la IA escuche una canción como Dancing Queen de Abba.
Algunos de nuestros nuevos trabajos en el proyecto FRIDA: Robot Synesthesia, pintura a partir de entradas de sonido y emoción. https://t.co/LrqyGigg5J pic.twitter.com/ouswMrMdyh
— FRIDA Robot Pintora (@FridaRobot) 12 de febrero de 2023
Carnegie Mellon Ph.D. El estudiante e ingeniero principal Peter Schaldenbrand señaló rápidamente que FRIDA no puede actuar como un verdadero artista. En otras palabras, el robot no expresa creatividad.
“FRIDA es un sistema de pintura robótico, pero FRIDA no es un artista”, dijo Schaldenbrand. “FRIDA no está generando ideas para comunicar. FRIDA es un sistema con el que un artista podría colaborar. El artista puede especificar objetivos de alto nivel para FRIDA, y luego FRIDA puede ejecutarlos”.
Los algoritmos del robot no son diferentes a los utilizados en ChatGPT y DALL-E 2 de OpenAI. Es una red antagónica generativa (GAN) configurada para dibujar imágenes y evaluar su desempeño para mejorar su rendimiento. Teóricamente, con cada cuadro, FRIDA debería interpretar mejor el mensaje y su producto, pero como el arte es subjetivo, quién puede decir qué es “mejor”.
Curiosamente, FRIDA crea una paleta de colores única para cada retrato, pero no puede mezclar las pinturas. Por ahora, un ser humano debe mezclar y suministrar los colores correctos. Sin embargo, un equipo de la Escuela de Arquitectura de CMU está trabajando en un método para automatizar la mezcla de pintura. Los estudiantes BIG podrían tomar prestado ese método para hacer que FRIDA sea completamente autónomo.
El proceso de pintura del bot es similar al de un artista y lleva horas generar una imagen completa. El brazo robótico aplica trazos de pintura al lienzo mientras una cámara monitorea desde arriba. De vez en cuando, los algoritmos evalúan la imagen emergente para asegurarse de que crea el resultado deseado. Si se desvía, la IA se ajusta para alinearlo más con el mensaje, razón por la cual cada retrato tiene sus propios pequeños defectos únicos.
Los investigadores BIG publicaron recientemente su investigación con arXiv de la Universidad de Cornell. El equipo también ha mantenido un Twitter FRIDA cuenta desde agosto de 2022, con muchas de las creaciones del robot y publicaciones sobre su progreso. Sin embargo, FRIDA no está disponible al público, lamentablemente. El próximo proyecto del equipo es basarse en lo que aprendió con FRIDA para desarrollar un robot que esculpe.