El propietario de Facebook quiere poder de cómputo extraordinario para desarrollar modelos de IA para reconocer el habla, traducir idiomas y potenciar mundos 3D
Tecnología
24 enero 2022
La supercomputadora RSC de Meta Meta
La empresa matriz de Facebook, Meta, está construyendo la supercomputadora específica de IA más poderosa del mundo para desarrollar mejores herramientas de reconocimiento de voz, traducir automáticamente entre diferentes idiomas y ayudar a construir su metaverso virtual 3D.
Aunque está lejos de estar completo, AI Research SuperCluster (RSC) está en funcionamiento y ya ha superado a la anterior supercomputadora más rápida de Meta. Esa máquina fue diseñada en 2017 y funcionaba con 22,000 potentes unidades de procesamiento de gráficos (GPU) que, a pesar de estar diseñadas para jugar, son herramientas altamente efectivas para entrenar modelos de inteligencia artificial.
Actualmente, RSC solo tiene GPU 6080, pero son más potentes que las de la máquina más antigua y ya es tres veces más rápido que su predecesor en el entrenamiento de grandes modelos de IA. Su desempeño actual está a la par con la supercomputadora Perlmutter en el Centro Nacional de Computación Científica de Investigación Energética en California, que actualmente ocupa el puesto número cinco en la clasificación mundial de supercomputadoras TOP500.
Cuando RSC esté completo, constará de 16 000 GPU y será casi tres veces más potente de lo que es ahora. Meta dice que, en este punto, será la supercomputadora optimizada para IA más rápida del mundo, con un rendimiento de casi 5 exaflops.
Las supercomputadoras pueden diseñarse para sobresalir en ciertas tareas. La máquina de Meta está especializada para entrenar y ejecutar grandes modelos de IA. Habrá computadoras más poderosas en el mundo cuando esté completo, pero solo unos pocos, y ninguno que comparta su arquitectura exacta o el uso previsto.
La vanguardia de la investigación en IA se ha basado en la escala en los últimos años y en máquinas cada vez más poderosas para entrenar modelos. Una de las redes neuronales más grandes, el modelo Megatron-Turing Natural Language Generation, tiene 530 mil millones de parámetros, que son aproximadamente equivalentes a las conexiones entre las células cerebrales. Meta dice que su máquina eventualmente ejecutará modelos con billones de parámetros.
James Knight de la Universidad de Sussex, Reino Unido, dice que la computadora propuesta es “enorme” en escala, pero es posible que no supere algunos de los desafíos en la investigación de IA. “Un sistema tan grande definitivamente les permitirá construir modelos más grandes”, dice. “Sin embargo, no creo que simplemente aumentar el tamaño de los modelos de lenguaje aborde los problemas bien documentados de los modelos existentes que repiten lenguaje sexista y racista o que fallan en las pruebas básicas de razonamiento lógico”.
Más sobre estos temas: