Dell y Meta✴ ofrecieron un paquete de hardware y software listo para usar para la implementación local de IA / ServerNews

Dell es Meta✴ Ofrecido desarrollo conjunto para mejorar la eficiencia de las empresas en el campo de la IA generativa, basado en el uso del gran modelo de lenguaje Meta✴ Llama 2 y Dell Infraestructura.

El lanzamiento de aplicaciones de IA generativa, como chatbots y asistentes virtuales, incluso para escribir código, implica entrenar modelos con datos propios de las empresas. Sin embargo, las soluciones de nube pública, si bien son convenientes, a menudo tienen ciertas limitaciones, incluidos los riesgos de seguridad asociados con la soberanía de los datos, así como costos impredecibles y problemas de cumplimiento normativo.

La implementación local de modelos de lenguaje grande (LLM) abiertos como Llama 2 proporciona a los clientes costos predecibles y control total sobre sus datos, lo que reduce el riesgo de seguridad y la fuga de propiedad intelectual y garantiza el cumplimiento normativo, afirma Dell. Soluciones Soluciones de IA generativa de Dell junto con DDiseño bien validado para IA generativa ofrecer a los clientes software y hardware listos para usar y probados previamente, diseñados específicamente para trabajar con IA generativa.

Fuente de la imagen: Dell

Ahora Dell en colaboración con Meta✴ amplió su cartera de ofertas para trabajar con IA generativa: los clientes tienen a su disposición la implementación y el ajuste simplificados de los modelos Meta AI✴ Llama 2 от Meta✴ en el entorno local. La solución Dell Validated Design for Generative AI, junto con Llama 2, proporciona a las empresas infraestructura, software y servicios de Dell listos para usar para optimizar la implementación y la gestión de proyectos de AI locales. Llama 2 es probada y verificada por Dell, incluido el trabajo con (SFT), LoRA y p-tuning en modelos con 7, 13 y 70 mil millones de parámetros

Con orientación sobre implementación y configuración, las empresas pueden poner rápidamente en funcionamiento su infraestructura de IA y utilizar Llama 2 con mayor previsibilidad. En particular, se encuentran disponibles análisis de uso de memoria, latencia y eficiencia de LLM. “Nuestro objetivo es convertirnos en el proveedor de infraestructura local elegido por los clientes que implementan Llama 2 y brindarles a nuestros clientes las mejores soluciones de IA generativa de su clase”. – dijo la empresa. La base de hardware incluye servidores. PowerEdge XE9680y PowerEdgeR760xa (pag Nvidia L40S).

Fuente: