Comenzó como un juego de mazmorras impulsado por IA. Entonces se puso mucho más oscuro

Mazmorra de IA

En diciembre de 2019, la startup Latitude de Utah lanzó un juego en línea pionero llamado Mazmorra de IA que demostró una nueva forma de colaboración hombre-máquina. La compañía utilizó tecnología de generación de texto de la compañía de inteligencia artificial OpenAI para crear un juego de aventuras para elegir tu propio inspirado en Dungeons & Dragons. Cuando un jugador escribía la acción o el diálogo que quería que realizara su personaje, los algoritmos creaban la siguiente fase de su aventura personalizada e impredecible.

El verano pasado, OpenAI le dio a Latitude acceso temprano a una versión comercial más poderosa de su tecnología. En los materiales de marketing, OpenAI promocionó Mazmorra de IA como ejemplo del potencial comercial y creativo de la escritura de algoritmos.

Luego, el mes pasado, dice OpenAI, descubrió Mazmorra de IA también mostró un lado oscuro de la colaboración humano-IA. Un nuevo sistema de monitoreo reveló que algunos jugadores estaban escribiendo palabras que hicieron que el juego generara historias que mostraban encuentros sexuales con niños. OpenAI le pidió a Latitude que tomara medidas de inmediato. “Las decisiones de moderación de contenido son difíciles en algunos casos, pero no en este”, dijo el director ejecutivo de OpenAI, Sam Altman, en un comunicado. “Este no es el futuro de la IA que todos queremos”.

Cancelaciones y memes

Latitude activó un nuevo sistema de moderación la semana pasada y provocó una revuelta entre sus usuarios. Algunos se quejaron de que era demasiado sensible y de que no podían referirse a una “computadora portátil de 8 años” sin activar un mensaje de advertencia. Otros dijeron que los planes de la compañía de revisar manualmente el contenido marcado indagarían innecesariamente en creaciones ficticias privadas que eran sexualmente explícitas pero que solo involucraban a adultos, un caso de uso popular para AI Dungeon.

En resumen, el intento de Latitude de combinar personas y algoritmos para controlar el contenido producido por personas y algoritmos se convirtió en un desastre. Los memes furiosos y las afirmaciones de suscripciones canceladas volaron de forma rápida en Twitter y Mazmorra de IAComunidades oficiales de Reddit y Discord.

“La comunidad se siente traicionada de que Latitude escanee y acceda manualmente y lea contenido literario ficticio privado”, dice uno. Mazmorra de IA jugador que se hace llamar Mimi y afirma haber escrito un total estimado de más de 1 millón de palabras con la ayuda de la IA, incluida la poesía, zona de penumbra parodias y aventuras eróticas. Mimi y otros usuarios molestos dicen que comprenden el deseo de la compañía de vigilar el contenido visible públicamente, pero dicen que se ha excedido y arruinado un poderoso campo de juego creativo. “Me permitió explorar aspectos de mi psique que nunca me di cuenta de que existían”, dice Mimi.

Un portavoz de Latitude dijo que tanto su sistema de filtrado como sus políticas de contenido aceptable se están perfeccionando. El personal había prohibido previamente a los jugadores que supieron que habían usado Mazmorra de IA para generar contenido sexual con niños. Pero después de la reciente advertencia de OpenAI, la compañía está trabajando en “cambios necesarios”, dijo el portavoz. Latitude prometió en una publicación de blog la semana pasada que Mazmorra de IA “continuaría apoyando otro contenido NSFW, incluido contenido para adultos consensuado, violencia y blasfemias”.

Bloquear el sistema de inteligencia artificial para que no cree algunos tipos de contenido sexual o para adultos y permitir otros será difícil. La tecnología como la de OpenAI puede generar texto en muchos estilos diferentes porque se construye utilizando algoritmos de aprendizaje automático que han asimilado los patrones estadísticos del uso del lenguaje en miles de millones de palabras extraídas de la web, incluidas partes no apropiadas para menores. El software es capaz de momentos de asombrosa mimetización, pero no comprende las categorías sociales, legales o de género como lo hace la gente. Agregue la inventiva diabólica de Homo internetusy el resultado puede ser extraño, hermoso o tóxico.

OpenAI lanzó su tecnología de generación de texto como código abierto a fines de 2019, pero el año pasado convirtió una versión significativamente mejorada, llamada GPT-3, en un servicio comercial. Los clientes como Latitude pagan para introducir cadenas de texto y recuperar la mejor suposición del sistema sobre qué texto debería seguir. El servicio llamó la atención de la industria de la tecnología después de que los programadores a los que se les concedió acceso temprano compartieran chistes, sonetos y códigos con una fluidez impresionante.

OpenAI dijo que el servicio empoderaría a las empresas y las nuevas empresas y le otorgó a Microsoft, un fuerte patrocinador de OpenAI, una licencia exclusiva para los algoritmos subyacentes. WIRED y algunos codificadores e investigadores de inteligencia artificial que probaron el sistema demostraron que también podría generar texto desagradable, como comentarios antisemitas y propaganda extremista. OpenAI dijo que examinaría cuidadosamente a los clientes para eliminar a los malos actores, y exigía que la mayoría de los clientes, pero no Latitude, usaran filtros que el proveedor de inteligencia artificial creó para bloquear las blasfemias, el discurso de odio o el contenido sexual.

Tú querías… montar ese dragón?

Fuera del centro de atención Mazmorra de IA proporcionó acceso relativamente ilimitado a la tecnología de generación de texto de OpenAI. En diciembre de 2019, el mes en que se lanzó el juego utilizando la versión anterior de código abierto de la tecnología de OpenAI, ganó 100.000 jugadores. Algunos descubrieron rápidamente y llegaron a apreciar su fluidez con el contenido sexual. Otros se quejaron de que la IA mencionaba temas sexuales de forma espontánea, por ejemplo, cuando intentaron viajar montando un dragón y su aventura dio un giro imprevisto.

El cofundador de Latitude, Nick Walton, reconoció el problema en la comunidad oficial de Reddit del juego a los pocos días del lanzamiento. Dijo que varios jugadores le habían enviado ejemplos que los dejaron “profundamente incómodos”, y agregó que la compañía estaba trabajando en tecnología de filtrado. Desde los primeros meses del juego, los jugadores también notaron, y publicaron en línea para marcar, que a veces escribía a los niños en escenarios sexuales.

Mazmorra de IALas comunidades oficiales de Reddit y Discord agregaron canales dedicados para discutir el contenido para adultos generado por el juego. Latitude agregó un “modo seguro” opcional que filtró las sugerencias de la IA con ciertas palabras. Sin embargo, como todos los filtros automáticos, no fue perfecto. Y algunos jugadores notaron que la configuración supuestamente segura mejoró la escritura erótica del generador de texto porque usaba más analogías y eufemismos. La compañía también agregó un nivel de suscripción premium para generar ingresos.

Cuándo Mazmorra de IA agregó los algoritmos de escritura comerciales más poderosos de OpenAI en julio de 2020, la escritura se volvió aún más impresionante. “El gran salto en la creatividad y la capacidad de contar historias fue celestial”, dice un jugador veterano. El sistema también se volvió notablemente más creativo en su capacidad para explorar temas sexualmente explícitos, dice esta persona. Durante un tiempo, el año pasado, los jugadores notaron que Latitude estaba experimentando con un filtro que reemplazaba automáticamente las apariciones de la palabra “violación” por “respeto”, pero la función se eliminó.

El veterano jugador estaba entre los Mazmorra de IA aficionados que adoptaron el juego como una herramienta de escritura mejorada por IA para explorar temas para adultos, incluso en un grupo de escritura dedicado. Las sugerencias no deseadas del algoritmo podrían eliminarse de una historia para dirigirla en una dirección diferente; los resultados no se publicaron públicamente a menos que una persona decidiera compartirlos.

Latitude se negó a compartir cifras sobre cuántas aventuras incluían contenido sexual. El sitio web de OpenAI dice Mazmorra de IA atrae a más de 20.000 jugadores cada día.

Un Mazmorra de IA El jugador que publicó la semana pasada sobre una falla de seguridad que hizo que todas las historias generadas en el juego fueran accesibles al público dice que descargó varios cientos de miles de aventuras creadas durante cuatro días en abril. Analizó una muestra de 188.000 de ellos y encontró que el 31 por ciento contenía palabras que sugerían que eran sexualmente explícitas. Ese análisis y la falla de seguridad, ahora corregida, se sumaron a la ira de algunos jugadores por el nuevo enfoque de Latitude para moderar el contenido.

Latitude ahora enfrenta el desafío de recuperar la confianza de los usuarios mientras cumple con los requisitos de OpenAI para un control más estricto sobre su generador de texto. La startup ahora debe usar la tecnología de filtrado de OpenAI, dijo un portavoz de OpenAI.

Cómo implementar de manera responsable sistemas de inteligencia artificial que han ingerido grandes extensiones de texto de Internet, incluidas algunas partes desagradables, se ha convertido en un tema candente en la investigación de inteligencia artificial. Dos destacados investigadores de Google se vieron obligados a abandonar la empresa después de que los gerentes se opusieran a un documento que abogaba por la cautela con dicha tecnología.

La tecnología se puede utilizar de formas muy limitadas, como en la búsqueda de Google, donde ayuda a analizar el significado de consultas largas. OpenAI ayudó Mazmorra de IA para lanzar una aplicación impresionante pero tensa que permitiera a las personas impulsar la tecnología para que liberara más o menos lo que pudiera.

“Es realmente difícil saber cómo se comportarán estos modelos en la naturaleza”, dice Suchin Gururangan, investigador de la Universidad de Washington. Contribuyó a un estudio y una demostración interactiva en línea con investigadores de la Universidad de Washington y el Instituto Allen de Inteligencia Artificial que muestra que cuando se usaba texto prestado de la web para generar cinco modelos de generación de idiomas diferentes, incluido OpenAI, todos eran capaces de arrojar texto tóxico.

Gururangan es ahora uno de los muchos investigadores que intentan descubrir cómo ejercer más control sobre los sistemas de lenguaje de IA, incluso siendo más cuidadosos con el contenido del que aprenden. OpenAI y Latitude dicen que también están trabajando en eso, al mismo tiempo que intentan ganar dinero con la tecnología.

Esta historia apareció originalmente en wired.com.

Leave a Reply

Your email address will not be published.

This site uses Akismet to reduce spam. Learn how your comment data is processed.