Hay una solución potencial en las cartas para los problemas de gasto de energía que plagan el entrenamiento de IA, y parece simple: simplemente fortalezca las “sinapsis” que mueven los electrones a través de una matriz de memoria.
El profesor de ingeniería eléctrica y de sistemas Shantanu Chakrabartty y dos de sus colegas de la Universidad de Washington en St Louis, EE. UU., han escrito un artículo publicado en Nature que explica cómo han utilizado las propiedades naturales de los electrones para reducir la energía utilizada para entrenar modelos de aprendizaje automático.
El proyecto hizo que los investigadores intentaran construir una matriz sináptica de aprendizaje en la memoria que tuviera sinapsis digitales que operaran dinámicamente en lugar de estáticamente, de modo que solo necesitan energía cuando cambian de estado, pero no para mantenerlo.
Para probar su concepto, el equipo construyó circuitos CMOS con barreras de energía que dijeron que eran lo suficientemente fuertes como para no ser volátiles y que se volverían más fuertes (es decir, capaces de mantener mejor la no volatilidad) a medida que avanza el entrenamiento de la matriz.
El resultado, dijo Chakrabartty, es una matriz más eficiente que podría reducir los requisitos de energía del entrenamiento de ML en 100 veces, “y esta es una proyección pesimista”, dijo Chakrabartty. El registro.
Esa mejora de 100x es para un sistema a pequeña escala, dijo Chakrabartty. Los modelos a mayor escala mostrarían una mejora aún mayor, especialmente si la memoria estuviera integrada con el procesador en una sola oblea, algo que Chakrabartty dijo que él y su equipo están trabajando actualmente para lograr.
Cómo activar tus sinapsis digitales
El entrenamiento del modelo de aprendizaje automático es increíblemente ineficiente desde el punto de vista energético. La Universidad de Washington en St. Louis dijo que entrenar una sola IA de primera línea fue responsable de más de 625 000 libras (283,5 toneladas métricas) de emisiones de CO2 en 2019, casi cinco veces lo que emitirá un automóvil promedio durante su vida útil. Otras cifras dicen que entrenar un modelo GPT-3 puede quemar la cantidad de energía necesaria para conducir un automóvil a la Luna y regresar.
El problema, como lo ve el artículo, está en los puentes entre los nodos informáticos en las matrices de memoria, que el artículo compara con las sinapsis que unen las neuronas. En el cerebro de un animal, el aprendizaje fortalece las sinapsis para que se disparen de manera más eficiente, pero al computar, cada sinapsis actúa de manera estática. Lo que esto significa en términos prácticos es que cada vez que un electrón se mueve a través de una sinapsis, se debe activar un “interruptor”, que gasta energía para polarizar la sinapsis y luego debe mantener ese gasto de energía para mantener la polaridad.
El modelo desarrollado por Chakrabartty y su equipo soluciona eso y crea su sinapsis más eficiente mediante el uso de la memoria analógica dinámica de Fowler-Nordheim (FN-DAM).
La porción “FN” de FN-DAM se refiere a la fórmula que permite que un electrón atraviese una barrera eléctrica triangular que está eléctricamente aislada (en este caso) por barreras de dióxido de silicio.
Esas barreras son lo suficientemente fuertes como para que, incluso con la energía eliminada, los electrones aún no puedan escapar. Vuelva a suministrar energía de una manera que haga que la barrera cambie de estado, y los electrones atrapados en el túnel de sinapsis se alejen en su viaje.
Chakrabartty dijo que el trabajo de investigación de su equipo demuestra que su diseño es capaz, pero advirtió que FN-DAM aún enfrenta una serie de barreras para escalar, como su resolución y precisión de medición. ®