Creando un Ecosistema de Datos Abiertos: Integración de SAP y Databricks

Iniciando el Viaje de un Ecosistema de Datos Abiertos con SAP

En marzo de 2023, SAP anunció SAP Datasphere , un servicio de datos integral que tiene como objetivo ofrecer acceso sin problemas y escalable a datos comerciales cruciales.

SAP también anunció su visión de crear un poderoso ecosistema de datos abiertos en torno a SAP Datasphere. Para la realización de esta visión, SAP se ha asociado con los principales proveedores de tecnología. La imagen a continuación brinda una breve descripción general de estas asociaciones.

Créditos de la imagen: SAP (marzo de 2023)

En mayo de 2023, SAP también anunció su asociación con Google Cloud como parte del Ecosistema de Datos Abiertos.

En el panorama tecnológico impulsado por los negocios de hoy en día, los clientes operan con un ecosistema diverso y complejo de pilas tecnológicas para satisfacer sus necesidades en constante evolución. Esta diversidad les permite crear aplicaciones personalizadas para sus necesidades específicas. Sin embargo, esta diversidad puede resultar rápidamente en silos de datos fragmentados. A través de la asociación, SAP y Databricks tienen como objetivo romper los silos integrando datos de todo tipo de fuentes a lo largo de los planos de datos. La asociación capacita a los usuarios para liberar el poder de sus datos a través de una integración bidireccional de Data Lakehouse con SAP Datasphere.

El 'Por qué' detrás de la Integración de SAP y Databricks

Hay mucha confusión en torno a la integración entre Databricks y Datasphere, principalmente en relación con la relevancia de Databricks en el ecosistema de SAP. A lo largo de este blog, exploraremos conceptos arquitectónicos como la unificación de datos, malla de datos y tejido empresarial.

También profundizaremos en el por qué, qué y cómo de la integración de SAP y Databricks. Exploraremos cómo las organizaciones pueden beneficiarse al adoptar esta integración, desde una mejor gobernanza de datos y escalabilidad hasta capacidades de análisis en tiempo real y aprendizaje automático.

Datos: El nuevo petróleo de la era digital

A menudo, el autor de citas es motivo de debate y una de las citas famosas en nuestro mundo digital es acerca de los datos siendo el nuevo petróleo. En 2006, el matemático británico Clive Humby dijo: "los datos son el nuevo petróleo", no solo se refería a los datos como petróleo como una mercancía muy valiosa. Comparó los datos con el petróleo también porque el petróleo en su estado bruto no es tan valioso como lo es después del proceso de refinamiento. De manera similar, el verdadero potencial de los datos no está en su estado bruto, sino que radica en la versión refinada que obtenemos después del procesamiento y transformación real.

Aunque persiste un debate sobre la fuente de esta cita, tiene una poderosa esencia: los datos nos rodean y se generan continuamente, consciente o inconscientemente a través de clics, transacciones o incluso simples deslizamientos. Las organizaciones recopilan este vasto depósito de potencial de datos sin explotar. Sin embargo, gestionar estos datos en constante expansión, especialmente en la era de las soluciones basadas en la nube predominantes, plantea desafíos. Los datos se distribuyen en diferentes plataformas con formatos de datos variables, lo que resulta en silos de datos , lo que hace que el análisis y la extracción de valor sean cada vez más complejos.

Aquí es exactamente donde entra en juego el verdadero valor de la integración de SAP y Databricks. Es la clave que desbloquea los tesoros ocultos de los datos. A continuación se muestra una arquitectura de referencia de la integración de Datasphere y Databricks (Ecosistema de Datos Abiertos). En las secciones que seguirán más adelante en este blog, profundizaremos en diferentes patrones de arquitectura que aprovechan lo mejor de ambos mundos.

Datasphere permite la unificación de datos de estos diferentes sistemas de origen con diferentes formas de integración de datos y gestión de datos. La federación de datos