Mientras el mundo espera la construcción del reactor de fusión más grande hasta el momento, llamado ITER, todavía funcionan reactores más pequeños con diseños similares. Estos reactores, llamados tokamaks, nos ayudan a probar tanto el hardware como el software. Las pruebas de hardware nos ayudan a refinar cosas como los materiales utilizados para las paredes de los contenedores o la forma y ubicación de los imanes de control.
Pero podría decirse que el software es lo más importante. Para habilitar la fusión, el software de control de un tokamak tiene que monitorear el estado del plasma que contiene y responder a cualquier cambio haciendo ajustes en tiempo real a los imanes del sistema. De lo contrario, puede resultar en cualquier cosa, desde una caída de energía (que conduce a la falla de cualquier fusión) hasta que el plasma se derrame fuera de la contención (y queme las paredes del contenedor).
Obtener el software de control correcto requiere una comprensión detallada tanto de los imanes de control como del plasma que manipulan los imanes o, sería más exacto decir, obtener el software de control correcto. ha requerido. Porque hoy, el equipo de IA de DeepMind de Google anuncia que su software ha sido entrenado con éxito para controlar un tokamak.
Fuera de control
Desarrollar el software de control para un tokamak es un proceso complicado. Basándose en la experiencia pasada con diseños similares, los ingenieros pueden extraer algunos de los principios básicos necesarios para que el software funcione, como qué entradas de sensor leer y cómo responder a los cambios en ellas. Pero siempre hay peculiaridades basadas en el diseño del hardware y las energías del plasma que se utiliza. Por lo tanto, tiende a haber un proceso iterativo de medición y modelado, seguido de ajustes en el proceso de control, mientras se mantiene el rendimiento suficiente para realizar ajustes casi en tiempo real.
El software de control resultante tiende a ser bastante especializado. Si los investigadores quieren experimentar con una geometría muy diferente para el plasma en el tokamak, es posible que se requiera una revisión significativa del software.
Los investigadores en el campo ya habían identificado la inteligencia artificial como una posible solución. Dé suficientes ejemplos a la IA correcta, y podría averiguar qué configuraciones de control producen las propiedades deseadas en el plasma. Eso liberaría a las personas para que se concentraran en el estado final deseado y luego simplemente dejarían que el software lo produjera para que pudieran estudiarlo. Una IA también debería ser más flexible; una vez que esté capacitado para controlar el sistema, debería poder producir configuraciones de plasma muy diferentes para su estudio sin necesidad de reprogramación.
Para avanzar en esta idea, todo lo que necesitábamos eran expertos en inteligencia artificial y un tokamak. Para el nuevo artículo, el equipo de inteligencia artificial provino de la división DeepMind de Google, famosa por desarrollar software que podía manejar todo, desde el plegamiento de proteínas hasta StarCraft. El tokamak es cortesía del Swiss Plasma Center en la EPFL en Lausana.
Entrenado para fusionar
Dado que soltar la IA en el hardware real durante el proceso de capacitación podría ser un desastre, el equipo comenzó con un simulador de tokamak específico para el hardware del Swiss Plasma Center. Esto fue en gran medida preciso, y programaron límites en la IA que impidieron que dirigiera el plasma a una configuración en la que el simulador produjera resultados inexactos. DeepMind luego entrenó un programa de aprendizaje de refuerzo profundo para alcanzar una variedad de configuraciones de plasma al permitirle controlar el simulador.
Durante el entrenamiento, una capa intermedia de software proporcionó una función de recompensa que indicaba qué tan cerca estaban las propiedades del plasma del estado deseado. Otro algoritmo, denominado “crítico”, aprendió las recompensas esperadas por varios cambios en los imanes de control del tokamak. Estos fueron utilizados por la red neuronal de control real para aprender qué acciones debería tomar.
La crítica fue elaborada y computacionalmente costosa, pero solo se usó durante la parte de entrenamiento. Cuando se realizó el entrenamiento, el algoritmo de control había aprendido qué acciones tomar para alcanzar una variedad de estados, y el crítico podía descartarse.
Para permitir el rendimiento en tiempo real, el controlador entrenado se incluyó como un ejecutable. El software de control estándar se usaría para activar el tokamak y llevar un plasma a altas energías. Una vez que el plasma se estabilizó, entregó el control a la IA.
¡Funciona!
El software resultante se desempeñó más o menos como le gustaría cuando se suelta en el hardware real. El software podía controlar ejecuciones experimentales que tenían como objetivo diferentes condiciones a lo largo del tiempo: en un caso de prueba, aumentó la energía, mantuvo estable el plasma, luego alteró la geometría del plasma y luego reubicó el plasma dentro del tokamak antes de reducir la energía. En otro, contenía dos estructuras de plasma separadas en el mismo tokamak simultáneamente.
El documento que describe este trabajo tiene una gran lista de las cosas que los autores necesitaban. Esa lista incluye un simulador de tokamak que fue lo suficientemente detallado para ser preciso y lo suficientemente compacto para proporcionar retroalimentación lo suficientemente rápido como para hacer posible el aprendizaje por refuerzo. El conjunto de entrenamiento tenía que incluir condiciones comunes similares a donde se le entregó el control y condiciones inusuales que le permitieron aprender cómo hacer la transición a configuraciones experimentales. Además, los investigadores necesitaban desarrollar un software que fuera lo suficientemente detallado para evaluar una amplia gama de posibles opciones de control, pero que también pudiera entrenar un controlador de rendimiento rápido que pudiera compilarse en un ejecutable.
Las personas detrás de este trabajo también están entusiasmadas con lo que podría presagiar para el trabajo futuro. En lugar de simplemente limitar las cosas a modelar el hardware existente, sugieren que debería ser posible dar a una iteración de este software una configuración de plasma deseada y dejar que identifique la geometría del hardware que le permitirá crearla. Alternativamente, podría optimizar el rendimiento del hardware existente.
Ahora solo tenemos que esperar un reactor de fusión digno de la atención de la IA.
Nature, 2022. DOI: 10.1038/s41586-021-04301-9 (Acerca de los DOI).