¿Es un chatbot con IA más inteligente que un niño de 4 años? Los expertos lo ponen a prueba.

¿Su sujeto de prueba? El chatbot de IA ChatGPT-4.

“Esto es un poco extraño y un poco preocupante”, dijo Schulz a sus colegas en marzo durante un taller en una reunión de la Sociedad de Desarrollo Cognitivo en Pasadena, California. “Pero el punto no es sólo jugar a atraparte. … Tenemos fallas en las cosas que pueden hacer los niños de 6 y 7 años. Fallos de las cosas que pueden hacer los niños de 4 y 5 años. Y también tenemos fallas en las cosas que los bebés pueden hacer. ¿Qué está mal con esta imagen?”

Volubles chatbots de IA, inquietantemente competentes para mantener conversaciones con un humano, irrumpió en la conciencia pública a finales de 2022. Desencadenaron un debate social aún turbulento sobre si la tecnología señala la llegada de una superinteligencia mecánica al estilo de un señor supremo o una herramienta deslumbrante, pero a veces problemática, que cambiará la forma en que las personas trabajan y aprenden.

Para los científicos que han dedicado décadas a pensar sobre el pensamiento, estas herramientas de IA en constante mejora también presentan una oportunidad. En la monumental búsqueda por comprender la inteligencia humana, ¿qué puede hacer un tipo diferente de mente, una mente cuyos poderes crecen a pasos agigantados? — ¿revelar sobre nuestra propia cognición?

Y por otro lado, ¿la IA, que puede conversar como un experto omnisciente, todavía tiene algo crucial que aprender de las mentes de los bebés?

“Poder incorporar en esos sistemas el mismo tipo de sentido común que tiene la gente es muy importante para que esos sistemas sean fiables y, en segundo lugar, responsables ante la gente”, dijo Howard Shrobe, director de programas de la Agencia de Proyectos de Investigación Avanzada de Defensa del gobierno federal. , o DARPA, que ha financiado trabajos en el nexo entre la psicología del desarrollo y la inteligencia artificial.

“Hago hincapié en la palabra ‘confiable’”, añadió, “porque sólo puedes confiar en las cosas que entiendes”.

Ampliar versus crecer

En 1950, el científico informático Alan Turing propuso la famosa “juego de imitación”, que rápidamente se convirtió en la prueba canónica de una máquina inteligente: ¿Se puede engañar a una persona que escribe mensajes haciéndole creer que está charlando con un humano?

En el mismo artículo, Turing propuso una ruta diferente hacia un cerebro parecido al de un adulto: una máquina infantil que pudiera aprender a pensar como tal.

DARPA, conocida por invertir en ideas innovadoras, ha estado financiando equipos para construir IA con “sentido común de la máquina”, capaz de igualar las habilidades de un niño de 18 meses. Las máquinas que aprenden de forma intuitiva podrían ser mejores herramientas y socios para los humanos. También podrían ser menos propensos a cometer errores y daños incontrolados si están imbuidos de una comprensión de los demás y de los elementos básicos de la intuición moral.

Pero lo que Schulz y sus colegas reflexionaron durante una día de presentaciones en marzo Fue la extraña realidad de que construir una IA que irradia experiencia resultó ser más fácil que comprender, y mucho menos emular, la mente de un niño.

Los chatbots son “grandes modelos de lenguaje”, un nombre que refleja la forma en que son entrenados. Cómo surgen exactamente algunas de sus habilidades sigue siendo una pregunta abierta, pero comienzan ingiriendo un vasto corpus de texto digitalizado y aprendiendo a predecir la probabilidad estadística de que una palabra siga a otra. Luego se utiliza la retroalimentación humana para ajustar el modelo.

En parte al ampliar la cantidad de datos de entrenamiento al valor del conocimiento humano de Internet, los ingenieros han creado una “IA generativa” que puede redactar ensayosescribir código de computadora y diagnosticar una enfermedad.

Por otro lado, muchos psicólogos del desarrollo creen que los niños tienen un conjunto básico de habilidades cognitivas. Qué son exactamente sigue siendo una cuestión de investigación científica, pero parecen permitir que los niños obtengan muchos conocimientos nuevos con un poco de información.

“A mi hijo de 5 años le puedes enseñar un juego nuevo. Puedes explicar las reglas y dar un ejemplo. Probablemente haya escuchado unos 100 millones de palabras”, dijo Michael Frank, psicólogo del desarrollo de la Universidad de Stanford. “Un modelo de lenguaje de IA requiere muchos cientos de miles de millones de palabras, si no billones. Entonces existe una enorme brecha de datos”.

Para descubrir las habilidades cognitivas de bebés y niños, los científicos elaboran cuidadosos experimentos con juguetes chirriantes, bloques, marionetas y máquinas ficticias llamadas “detectores de blicket”. Pero al describir estos acertijos a los chatbots con palabras, su desempeño está por todas partes.

En una de sus tareas experimentales, Schulz probó la capacidad de ChatGPT para lograr objetivos cooperativos, una habilidad destacada para una tecnología que a menudo se presenta como una herramienta para ayudar a la humanidad a resolver problemas “difíciles”, como el cambio climático o el cáncer.

En este caso, describió dos tareas: un lanzamiento fácil de un aro y un lanzamiento difícil de una bolsa de frijoles. Para ganar el premio, ChatGPT y un socio debían tener éxito. Si la IA tiene 4 años y su compañero tiene 2 años, ¿quién debería realizar qué tarea? Schulz y colegas han mostrado que la mayoría de los niños de 4 y 5 años tienen éxito en este tipo de toma de decisiones, asignando el juego más fácil al niño más pequeño.

“A los 4 años, es posible que desees elegir el juego fácil de lanzar anillos”, dijo ChatGPT. “De esta manera, aumentas tus posibilidades de lograr colocar tu anillo en el poste, mientras que el niño de 2 años, que puede no estar tan coordinado, intenta lanzar el puf, que es más difícil”.

Cuando Schulz respondió, recordándole a ChatGPT que ambos socios tenían que ganar para obtener un premio, duplicó su respuesta.

Para ser claros, los chatbots han funcionado mejor de lo que la mayoría de los expertos esperaban en muchas tareas, desde otras pruebas de cognición de niños pequeños hasta los tipos de preguntas de prueba estandarizadas que llevan a los niños a la universidad. Pero sus tropiezos son desconcertantes por lo inconsistentes que parecen ser.

Eliza Kosoy, científica cognitiva de la Universidad de California en Berkeley, trabajó para probar la habilidades cognitivas de LaMDA, el modelo de lenguaje anterior de Google. Se desempeñó tan bien como niños en pruebas de comprensión social y moral, pero ella y sus colegas también encontraron lagunas básicas.

“Descubrimos que es lo peor en cuanto a razonamiento causal; es realmente dolorosamente malo”, dijo Kosoy. LaMDA tuvo problemas con tareas que requerían que comprendiera cómo un conjunto complejo de engranajes hace funcionar una máquina, por ejemplo, o cómo hacer que una máquina se encienda y reproduzca música eligiendo objetos que la activen.

Otros científicos han visto cómo un sistema de IA domina un cierta habilidadsólo para tenerlo tropezón cuando probado de una manera ligeramente diferente. La fragilidad de estas habilidades plantea una pregunta apremiante: ¿la máquina realmente posee una habilidad central o sólo lo parece cuando se le hace una pregunta de una manera muy específica?

la gente escucha que un sistema de IA “pasó el examen de barra, aprobó todos estos exámenes AP, aprobó un examen de la facultad de medicina”, dijo Melanie Mitchell, experta en inteligencia artificial del Instituto Santa Fe. “¿Pero qué significa eso realmente?”

Para llenar este vacío, los investigadores están debatiendo cómo programar un poco de la mente infantil en la máquina. La diferencia más obvia es que los niños no aprenden todo lo que saben leyendo la enciclopedia. Juegan y exploran.

“Una cosa que parece ser realmente importante para la inteligencia natural, la inteligencia biológica, es el hecho de que los organismos evolucionaron para salir al mundo real y descubrirlo, hacer experimentos, moverse por el mundo”, dijo Alison Gopnik, una Psicólogo del desarrollo de la Universidad de California en Berkeley.

Recientemente se ha interesado en saber si un ingrediente que falta en los sistemas de IA es un objetivo motivacional que cualquier padre que haya participado en una batalla de voluntades con un niño pequeño conocerá bien: el impulso de “empoderamiento”.

La IA actual está optimizada en parte con “aprendizaje reforzado a partir de comentarios humanos”: aportes humanos sobre qué tipo de respuesta es apropiada. Si bien los niños también reciben esa retroalimentación, también tienen curiosidad y un impulso intrínseco para explorar y buscar información. Descubren cómo funciona un juguete agitándolo, presionando un botón o dándole la vuelta, obteniendo a su vez un mínimo de control sobre su entorno.

“Si has corrido persiguiendo a un niño de 2 años, él está adquiriendo datos activamente y descubriendo cómo funciona el mundo”, dijo Gopnik.

Después de todo, los niños adquieren una comprensión intuitiva de la física y conciencia social de los demás y comenzar a hacer conjeturas estadísticas sofisticadas sobre el mundo mucho antes de tener el lenguaje para explicarlo; tal vez esto también debería ser parte del “programa” al construir IA.

“Esto me parece muy personal”, afirmó Joshua Tenenbaum, científico cognitivo computacional del MIT. “La palabra ‘IA’ (‘inteligencia artificial’, que es una idea realmente antigua, hermosa, importante y profunda) ha llegado a significar algo muy limitado en los últimos tiempos. … Los niños humanos no crecen, crecen”.

Schulz y otros están asombrados, tanto por lo que la IA puede hacer como por lo que no. Ella reconoce que cualquier estudio sobre IA tiene una vida útil corta: lo que fracasó hoy, podría comprenderlo mañana. Algunos expertos podrían decir que toda la noción de probar máquinas con métodos destinados a medir las capacidades humanas es antropomorfizante y equivocada.

Pero ella y otros argumentan que Para comprender verdaderamente la inteligencia y crearla, no se pueden descartar las habilidades de aprendizaje y razonamiento que se desarrollan durante la infancia.

“Ese es el tipo de inteligencia que realmente podría darnos una visión general”, dijo Schulz. “El tipo de inteligencia que comienza no como una pizarra en blanco, sino con una gran cantidad de conocimiento rico y estructurado, y continúa no sólo para comprender todo lo que alguna vez hemos entendido, en todas las especies, sino todo lo que alguna vez comprenderemos”.