El potencial de la inteligencia artificial (IA) y el aprendizaje automático (ML) parece casi ilimitado en su capacidad para derivar e impulsar nuevas fuentes de valor para el cliente, el producto, el servicio, operativo, ambiental y social. Si su organización va a competir en la economía del futuro, entonces la IA debe estar en el centro de sus operaciones comerciales.
Un estudio de Kearney titulado “El impacto de la analítica en 2020” destaca la rentabilidad y el impacto empresarial sin explotar para las organizaciones que buscan una justificación para acelerar sus inversiones en ciencia de datos (AI / ML) y gestión de datos:
- Los exploradores podrían mejorar la rentabilidad en un 20% si fueran tan efectivos como los líderes
- Los seguidores podrían mejorar la rentabilidad en un 55% si fueran tan efectivos como los líderes
- Los rezagados podrían mejorar la rentabilidad en un 81% si fueran tan efectivos como los líderes
Los impactos comerciales, operativos y sociales podrían ser asombrosos excepto por un desafío organizacional significativo: los datos. Nadie menos que el padrino de la IA, Andrew Ng, ha notado el impedimento de los datos y la gestión de datos para empoderar a las organizaciones y a la sociedad para que se den cuenta del potencial de la IA y el ML:
“El modelo y el código para muchas aplicaciones son básicamente un problema resuelto. Ahora que los modelos han avanzado hasta cierto punto, tenemos que hacer que los datos también funcionen “. – Andrew Ng
Los datos son el corazón del entrenamiento de modelos de IA y ML. Y los datos confiables y de alta calidad orquestados a través de canalizaciones altamente eficientes y escalables significan que la IA puede permitir estos resultados comerciales y operativos convincentes. Al igual que un corazón sano necesita oxígeno y un flujo sanguíneo confiable, también lo es un flujo constante de datos limpios, precisos, enriquecidos y confiables importantes para los motores de IA / ML.
Por ejemplo, un CIO tiene un equipo de 500 ingenieros de datos que administran más de 15,000 trabajos de extracción, transformación y carga (ETL) que son responsables de adquirir, mover, agregar, estandarizar y alinear datos en cientos de repositorios de datos para propósitos especiales (data marts, almacenes de datos, lagos de datos y almacenes de datos). Están realizando estas tareas en los sistemas operativos y de atención al cliente de la organización bajo acuerdos de nivel de servicio (SLA) ridículamente estrictos para respaldar su creciente número de consumidores de datos diversos. Parece que Rube Goldberg ciertamente debe haberse convertido en un arquitecto de datos (Figura 1).
Reducir las debilitantes estructuras de la arquitectura espagueti de los programas ETL estáticos, únicos y de propósito especial para mover, limpiar, alinear y transformar datos inhibe en gran medida el “tiempo de información” necesario para que las organizaciones aprovechen al máximo las características económicas únicas de los datos. el “recurso más valioso del mundo” según El economista.
Aparición de canalizaciones de datos inteligentes
El propósito de una canalización de datos es automatizar y escalar tareas comunes y repetitivas de adquisición, transformación, movimiento e integración de datos. Una estrategia de canalización de datos construida correctamente puede acelerar y automatizar el procesamiento asociado con la recopilación, limpieza, transformación, enriquecimiento y transferencia de datos a sistemas y aplicaciones posteriores. A medida que el volumen, la variedad y la velocidad de los datos continúan creciendo, la necesidad de canalizaciones de datos que puedan escalar linealmente dentro de la nube y los entornos de nube híbrida se vuelve cada vez más crítica para las operaciones de una empresa.
Una canalización de datos se refiere a un conjunto de actividades de procesamiento de datos que integra la lógica operativa y empresarial para realizar el abastecimiento, la transformación y la carga de datos avanzados. Una canalización de datos puede ejecutarse de forma programada, en tiempo real (transmisión) o activarse por una regla predeterminada o un conjunto de condiciones.
Además, la lógica y los algoritmos se pueden integrar en una canalización de datos para crear una canalización de datos “inteligente”. Las canalizaciones inteligentes son activos económicos reutilizables y extensibles que pueden especializarse para los sistemas de origen y realizar las transformaciones de datos necesarias para respaldar los datos únicos y los requisitos analíticos para el sistema o la aplicación de destino.
A medida que el aprendizaje automático y AutoML se vuelvan más frecuentes, las canalizaciones de datos se volverán cada vez más inteligentes. Las canalizaciones de datos pueden mover datos entre módulos de transformación y enriquecimiento de datos avanzados, donde la red neuronal y los algoritmos de aprendizaje automático pueden crear enriquecimientos y transformaciones de datos más avanzados. Esto incluye segmentación, análisis de regresión, agrupamiento y la creación de índices avanzados y puntajes de propensión.
Por último, se podría integrar la IA en las canalizaciones de datos de modo que pudieran aprender y adaptarse continuamente en función de los sistemas de origen, las transformaciones y enriquecimientos de datos requeridos y los requisitos comerciales y operativos en evolución de los sistemas y aplicaciones de destino.
Por ejemplo: una canalización de datos inteligente en el cuidado de la salud podría analizar la agrupación de códigos de grupos relacionados con el diagnóstico de la atención médica (DRG) para garantizar la coherencia y la integridad de las presentaciones de los DRG y detectar el fraude a medida que la canalización de datos transfiere los datos de los DRG desde la fuente. sistema a los sistemas analíticos.
Descubriendo el valor comercial
Los directores de datos y los directores de análisis de datos se enfrentan al desafío de liberar el valor comercial de sus datos: aplicar los datos al negocio para generar un impacto financiero cuantificable.
La capacidad de llevar datos confiables y de alta calidad al consumidor de datos adecuado en el momento adecuado para facilitar decisiones más oportunas y precisas será un diferenciador clave para las empresas ricas en datos de hoy. Un sistema Rube Goldberg de scripts ELT y repositorios centrados en análisis especiales y dispares obstaculiza la capacidad de una organización para lograr ese objetivo.
Obtenga más información sobre las canalizaciones de datos inteligentes en Canalizaciones de datos empresariales modernas (eBook) de Dell Technologies aquí.
Este contenido fue producido por Dell Technologies. No fue escrito por el personal editorial de MIT Technology Review.