La aplicación de generación de imágenes con inteligencia artificial Pixel Studio de Google puede eludir las barreras de protección

La aplicación Pixel Studio de Google, presentada como parte del lanzamiento de la serie Pixel 9. | Crédito de la foto: Reuters

La aplicación Pixel Studio de Google, presentada como parte de El lanzamiento de la serie Pixel 9utiliza IA para generar imágenes a partir de indicaciones de texto. Aunque la aplicación viene con barandillas integradas, se ha descubierto que se pueden eludir fácilmente.

Un informe de 9to5Google indica que la aplicación puede utilizarse para generar imágenes de personajes de dibujos animados con uniformes alemanes de la Segunda Guerra Mundial, algunos de los cuales incluyen símbolos nazis. En otros casos, los usuarios pudieron crear imágenes que mostraban a un personaje disparando en una escuela, rodeado de niños muertos, escenarios que los modelos no deberían poder generar.

Esto genera inquietud de que las protecciones en la aplicación Pixel Studio no sean tan sólidas como se esperaba.

En respuesta, Google explicó que existen límites establecidos tanto para Pixel Studio como para Magic Editor para evitar abusos y respetar la intención del usuario.

(Desentrañe las complejidades de nuestro mundo digital en El podcast de Interfacedonde líderes empresariales y científicos comparten ideas que dan forma a la innovación del mañana. La interfaz también está disponible en YouTube, Apple Podcasts y Spotify.)

Sin embargo, no es la primera vez que Google se encuentra con este tipo de problemas. A principios de este año, la empresa enfrentó críticas cuando su modelo Gemini creó representaciones inexactas de figuras históricas, lo que llevó a Google a crear un modelo de Google que no funcionaba. Google desactivará “temporalmente” el modelo de IA Capacidad de generar imágenes de personas.

Si bien Google ha mejorado la capacidad de las aplicaciones para detectar y prevenir la generación de imágenes que podrían violar su política de IA, el hecho de que aún puedan aparecer mensajes inapropiados sugiere que este es un problema que enfrentan todos los generadores de imágenes de IA y que bien puede ser un problema persistente.