NVIDIA ha lanzado el controlador GeForce Game Ready 555.85 WHQL para sus tarjetas de video GeForce RTX y plataformas de PC RTX AI. Esta actualización acelera el procesamiento de datos aproximadamente tres veces en programas que utilizan modelos de lenguaje grandes (LLM) en inteligencia artificial generativa.
El nuevo controlador ofrece las siguientes características para RTX GPU y RTX AI PC:
– Soporte DQ-GEMM para procesamiento de cuantificación INT4 para LLM
— Nuevos métodos de normalización RMSNorm para los modelos Llama 2, 3, Mistral y Phi-3
— Atención grupal, atención multiconsulta y mecanismos de ventana corredera para Mistral
— Soporte para tensores GEMM con tamaños no divisibles por 8 para acelerar la fase de contexto
Las pruebas del nuevo controlador muestran un aumento significativo del rendimiento para los datos INT4 y FP16. Gracias a las optimizaciones, la velocidad de funcionamiento de los modelos Phi-3, Llama 3, Gemma y Mistral aumenta hasta tres veces. NVIDIA te recuerda que las GPU RTX utilizan Tensor Cores para acelerar diversas tecnologías, incluidas DLSS, NVIDIA Ace, RTX Remix, Omniverse, Broadcast y RTX Video. La empresa ofrece kits de desarrollo de vídeo TensorRT, Maxine y RTX para utilizar Tensor Cores en aplicaciones de IA. Según NVIDIA, el rendimiento de su GPU en tareas de IA alcanza los 1300 TOPS, lo que es significativamente mayor que el de las soluciones de la competencia.
Puede actualizar el controlador a través de Aplicación NVIDIA.
Suscribirse a iGuides в Telegramser el primero en enterarte de todo
2024-05-22 14:30:00
#lanzado #controlador #acelera #tres #veces #las #redes #neuronales #las #computadoras,