Manzana
El miércoles, Apple lanzó optimizaciones que permiten que el generador de imágenes Stable Diffusion AI se ejecute en Apple Silicon utilizando Core ML, el marco patentado de Apple para modelos de aprendizaje automático. Las optimizaciones permitirán a los desarrolladores de aplicaciones utilizar el hardware de Apple Neural Engine para ejecutar Stable Diffusion aproximadamente el doble de rápido que los métodos anteriores basados en Mac.
Stable Diffusion (SD), que se lanzó en agosto, es un modelo de síntesis de imágenes de IA de código abierto que genera imágenes novedosas utilizando la entrada de texto. Por ejemplo, escribir “astronauta en un dragón” en SD normalmente creará una imagen de exactamente eso.
Al lanzar las nuevas optimizaciones de SD, disponibles como scripts de conversión en GitHub, Apple quiere desbloquear todo el potencial de la síntesis de imágenes en sus dispositivos, lo cual se menciona en la página de anuncios de Apple Research. “Con el creciente número de aplicaciones de Stable Diffusion, garantizar que los desarrolladores puedan aprovechar esta tecnología de manera efectiva es importante para crear aplicaciones que los creativos de todo el mundo puedan usar”.
Apple también menciona la privacidad y evitar los costos de computación en la nube como ventajas de ejecutar un modelo de generación de IA localmente en un dispositivo Mac o Apple.
“La privacidad del usuario final está protegida porque cualquier dato que el usuario proporcionó como entrada al modelo permanece en el dispositivo del usuario”, dice Apple. “En segundo lugar, después de la descarga inicial, los usuarios no requieren una conexión a Internet para usar el modelo. Finalmente, la implementación local de este modelo permite a los desarrolladores reducir o eliminar los costos relacionados con el servidor”.
Actualmente, Stable Diffusion genera imágenes más rápido en GPU de gama alta de Nvidia cuando se ejecuta localmente en una PC con Windows o Linux. Por ejemplo, generar una imagen de 512×512 en 50 pasos en una RTX 3060 lleva unos 8,7 segundos en nuestra máquina.
En comparación, el método convencional de ejecutar Stable Diffusion en una Apple Silicon Mac es mucho más lento, tarda unos 69,8 segundos en generar una imagen de 512 × 512 en 50 pasos usando Diffusion Bee en nuestras pruebas en una M1 Mac Mini.
Según los puntos de referencia de Apple en GitHub, las nuevas optimizaciones Core ML SD de Apple pueden generar una imagen de 50 pasos de 512 × 512 en un chip M1 en 35 segundos. Un M2 hace la tarea en 23 segundos, y el chip de silicio más poderoso de Apple, el M1 Ultra, puede lograr el mismo resultado en solo nueve segundos. Esa es una mejora espectacular, que reduce el tiempo de generación casi a la mitad en el caso del M1.
El lanzamiento de GitHub de Apple es un paquete de Python que convierte modelos Stable Diffusion de PyTorch a Core ML e incluye un paquete Swift para la implementación de modelos. Las optimizaciones funcionan para Stable Diffusion 1.4, 1.5 y el recién lanzado 2.0.
Por el momento, la experiencia de configurar Stable Diffusion con Core ML localmente en una Mac está dirigida a desarrolladores y requiere algunas habilidades básicas de línea de comandos, pero Hugging Face publicó una guía detallada para configurar las optimizaciones Core ML de Apple para aquellos que quieren para experimentar.
Para aquellos menos inclinados a la tecnología, la aplicación mencionada anteriormente llamada Diffusion Bee facilita la ejecución de Stable Diffusion en Apple Silicon, pero aún no integra las nuevas optimizaciones de Apple. Además, puede ejecutar Stable Diffusion en un iPhone o iPad usando la aplicación Draw Things.